Общаемся с роботами


Революция, о которой так долго говорили фантасты, наконец-то свершилась. Но как-то незаметно и совсем не эффектно. Роботы повсюду – от запылившихся тамагочи в ящике стола до шикарных трансформеров (пока только в кино). Но основная их часть, которая занимается работой монотонной и промежуточной, нам незаметна вовсе, и в том числе – роботы поисковых систем.

Но, несмотря на их кажущуюся невидимость, нужно находить с ними общий язык, чтобы не удивляться потом: «Почему Яндекс меня «не видит»?».

Немного о том, что представляют собой поисковые роботы. Носящие множество интересных названий, - «паук», «червь», - они выполняют множество различных функций. «Спайдер» индексирует страницы, отправляя после этого «краулеру», который проходит по всем ссылкам на полученной страницы. В целом же, основными функциями роботов являются индексация сайтов, проверка кодов, обновлений, проверка на «чистоту» сайта, проверка его зеркал.

Основные способы общения с поисковыми роботами разных систем – мета-тэг ⟨robots⟩ и файл robots.txt. Оба они содержат инструкции действий касательно данной страницы. И тэг, и файл могут полностью запретить индексацию страницы, а также указать основное зеркало сайта. Но на этом их общие функции заканчиваются.

Мета-тэг ⟨robots⟩ имеет следующий вид:

⟨meta name="robots" content="команды" /⟩ ⟨/robots⟩

Команды, которые могут выполняться роботами согласно этому тегу, преимущественно разрешение/запрет:

  • индексации страницы (indexnoindex);
  • прохода по размещенным ссылкам (followno follow);
  • индексации вышеперечисленного (allnone). При этом одновременное использование противоречащих друг другу инструкций возбраняется.

 

Файл robots.txt обязателен для внесения в общий код страницы, причем один и в корневой директории, а не отдельный для каждой страницы. Выглядит он следующим образом:

User-agent:
Disallow:

Первая команда обращается к конкретному роботу, а вторая показывает, какую директорию запрещено индексировать. Даже если вы открываете доступ ко всему, поместить этот файл необходимо, поставив для user-agent символ *, а disallow оставив пустым. Первую команду необходимо прописывать отдельно для каждого отдельно взятого робота, а вот запрещенное содержимое может перечисляться в одной:

User-agent:*
Disallow: /css/
Dissalow: /images/

Кроме того, в файле обязательно присутствует директива Host, которая указывает на основное зеркало вашего сайта, без http:// и лишних слешей.

Согласно сайту robotstxt.org.ru, основные ошибки, которые совершаются при заполнении данного файла, это:

  • неправильная расстановка инструкций по местам;
  • употребление заглавных букв в инструкциях, названиях директив и файлов и собственно названии файла;
  • перечисление всех файлов в закрытой директории. Достаточно закрыть саму директорию, роботы не настолько дотошны;
  • отсутствие слешей в указываемой директории.

Ранее использование команды Allow в файле запрещалось, однако теперь при помощи ее можно, наоборот, открывать доступ к сайту и отдельным директивам. Это может быть полезным, если, к примеру, вы хотите закрыть всю папку, кроме одного файла. В целом, составление мета-тэга ⟨robots⟩ и файла robots.txt достаточно простая задача – главное выполнять все по инструкции, и тогда с поисковыми роботами очень легко подружиться. А для оптимизатора это особенно важно.



Если вы заметили ошибку в тексте новости, пожалуйста, выделите её и нажмите Ctrl+Enter
0 баллов
--+

Комментарии:

Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza. Yandex Facebook Google Вконтакте Mail.ru Twitter Loginza MyOpenID OpenID


Рейтинги

Перейти в ТОП SEO персон

Данила Колоницкий
Компания: Web Business Marketing
Должность: Директор
0 баллов
Марина SEOblondinka
Компания: самая лучшая
Должность: фрилансер
1 балл
Дмитрий Адамович
Компания: adamovich.by
Должность: ИП Адамович Д.А
0 баллов

Перейти в ТОП SEO компаний

°dewpoint
разработка корпоративных сайтов, веб-дизайн, консалтинг, ...
0 баллов
АлВит
создание, поддержка, обслуживание и продвижение сайтов
0 баллов
Ziex Media
Поисковое продвижение, Контекстная реклама, Интернет-PR
0 баллов

ТОП пользователей

admin

483 балла
candy hard

308 баллов
Publisher_news

286 баллов

Популярные

Михаил Райцин: ''Мы не против стать Китаем на SEO-рынке''

Михаил Райцин, мУркетолог, разработчик бирж Miralinks и WebEffector, дал специальное интервью для Raskrutka.by, где рассказал о годе трафика, WebEffector и конкурентах, а также своих увлечениях.

  candy hard 23 балла 16

Извилистые пути Девушки-из-Сети

Что думает о байнете и кризисе одна из известнейших белорусских блоггерш Алена aka Девушка, живущая в Сети.

  candy hard 17 баллов 12

Банковские пластиковые карты Яндекс.Деньги для белорусов: так ли все однозначно?

На прошлой неделе Яндекс запустил новую услугу – выпуск банковских пластиковых карт для Яндекс.Деньги. Об этом Raskrutka.by уже писала ранее. Несмотря на заявление о том, что пользоваться этой карточкой белорусы могут свободно, нас обуяли сомнения: все ли так однозначно?

  admin 14 баллов 15

Index.by: белорусский ответ Яндексу и Google!

Наш портал уже писал о том, что команда белорусских энтузиастов создает первый отечественный поисковик – Index.by. Разработчики уверяют, что в нем не будет спама, а все сайты из индекса будут проходить ручную проверку и оцениваться живыми людьми. Планируется, что бета-версия Index.by заработает уже этой весной. Корреспондент портала встретился с одним из создателей белорусского поисковика Андреем Месником и подробно расспросил его об этом проекте.

  admin 14 баллов 18

Последние вакансии

Интернет-маркетолог

Компания: ООО БелХард Девелопмент
Должность: Интернет-маркетолог
Зарплата (у.е.): По результатам собеcедования


Программист

Компания: LetItBuild LLC
Должность: Программист
Зарплата (у.е.): 2000


Программист

Компания: LetItBuild LLC
Должность: Программист
Зарплата (у.е.): 2000