Перейти к содержимому

1

Бывает так, что в одной CMS хоститься несколько сайтов, которые, в свою очередь, имеют свои правила для роботов...

Бывает так, что в одной CMS хоститься несколько сайтов, которые, в свою очередь, имеют свои правила для роботов. Например, самый простой случай - один сайт уже доступен юзерам, а второй - еще только наполняется контентом, и, соотвественно, не должен быть проиндексирован в таком незаконченном состоянии

...читать далее "Robots.txt — как много в этом слове"