Тэг «robots.txt»

Обновлена функция проверки файла robots.txt в Google Webmaster Tools

Постоянное совершенствование своих функций и инструментов – характерная черта, присущая Google. Теперь инструменты для веб-мастеров в разделе Crawl (Сканирование) дополнены новой, усовершенствованной возможностью под названием robots.txt testing tool.

Яндекс изменит User-Agent робота РСЯ

В июне робот рекламной сети Яндекса приобретет новый User-Agent и изменится в robots.txt

Кто ездил в Геленджик или почему все находится?

Рунет все шумит о приватных данных: сперва смс-сообщения «Мегафона» в выдаче, затем фотоальбомы и данные покупателей с интернет-магазинов интимных товаров, а теперь в выдаче появились заполненные бланки электронных билетов на поезда Российских железных дорог.

Новые правила обработки директивы Allow текстового файла robots.txt

Команда Яндекс.Поиска сообщает о том, что начинают действовать новые стандарты обработки директивы Allow текстового файла robots.txt, которая разрешает доступ робота к частям сайта или к сайту целиком.

Несколько слов о robots.txt

Как сообщает Webmasters.ru, Джон Мюллер, представитель команды помощи вебмастерам Google, на своей страничке в соцсети Google+ еще раз обратил внимание на то, что файл robots.txt не должен превышать 500 кб.

Google +1 игнорирует robots.txt

Может ли кнопка Google +1 игнорировать указания файла robots.txt? Об этом поинтересовались вебмастера на форуме вебмастеров Google. Возник вопрос, что произойдет, если на закрытой от индексации странице пользователь кликнет на кнопку +1. Как будет и будет ли Google индексировать страницу, как будут учитываться данные о кликах, появится ли в выдаче страница.