Перейти к содержимому

Robots.txt — как много в этом слове

Бывает так, что в одной CMS хоститься несколько сайтов, которые, в свою очередь, имеют свои правила для роботов...

Бывает так, что в одной хоститься несколько сайтов, которые, в свою очередь, имеют свои правила для роботов. Например, самый простой случай - один сайт уже доступен юзерам, а второй - еще только наполняется контентом, и, соотвественно, не должен быть проиндексирован в таком незаконченном состоянии

Честно говоря, решение просто и лежит на поверхности - использовать механизм изменения URL (mod_ у , ISAPI Rewrite или URL Rewrite у IIS) для того, чтобы перенаправлять запрос на нужный .txt в зависомости от хостнейма, на который пришел запрос.

То есть, должна получиться вот такая вот конструкция:

^(robots.txt)$ rewrite needed_file if {_HOST} - ^needed_host$

Вроде как понятно объяснил :). Если непонятно, спрашивайте в комментариях, приведу рабочий пример

Robots.txt — как много в этом слове: 1 комментарий

Обсуждение закрыто.