Несколько слов о robots.txt

Как сообщает Webmasters.ru, Джон Мюллер, представитель команды помощи вебмастерам Google, на своей страничке в соцсети Google+ еще раз обратил внимание на то, что файл robots.txt не должен превышать 500 кб.

Как отметил Мюллер, даже у Google файл «весит» не более 6,43 Кб. Поэтому, по его мнению, robots.txt, превышающий полмегабайта – что-то из области фантастики. Впрочем, заметил Мюллер, в реальности эта фантастика все же встречается: если, к примеру, CMS сайта самостоятельно создаёт файл robots.txt.

Команда помощи вебмастерам еще раз напоминает: если robots.txt будет превышать полмегабайта, то робот в любом случае прочитает лишь первые 500 кб. Кроме того, такой массивный robots.txt может привести к ошибкам индексации, что приведет к потерям позиций в Google.