Файл Robots.txt и sitemap


Оптимизацию кода нужно начинать с пунктов переговоров с роботом – мета-тэга <Robots> (который необязателен, но полезен) и файла robots.txt (который и обязателен, и полезен). Оба они содержат инструкции действий касательно данной страницы. И тэг, и файл могут полностью запретить индексацию страницы, а также указать основное зеркало сайта, но на этом их общие функции заканчиваются.
Мета-тэг  <Robots> имеет следующий вид:
<meta name="robots" content="команды">
Команды, которые могут выполняться роботами согласно этому тегу, преимущественно разрешениезапрет:
индексацию страницы (indexnoindex);
разрешение на доступ перехода по указанным в нём ссылками (followno follow);
индексацию контекста (allnone).

Помните, что чем больше страниц у вас проиндексируется, тем больше шансов, что посетитель начнёт именно ваш сайт. Другое дело, что есть страницы (например, с личными данными), которым не нужно попадать в индекс, и их мы закрываем. Впрочем, основные действия, которые вы прописываете, относятся к небольшому количеству страниц, которые не должны попадать в индекс.

Файл robots.txt обязателен для внесения в общий код страницы, в отличие от тэга robots, он один раз заносится в корневую папку, а не на каждую страницу. Вот как он выглядит:

User-agent:
Disallow:


Первая команда обращается к конкретному роботу (роботу Яндекса, Google, а, может, ко всем сразу), а вторая нуждается в обозначении тех частей сайта, которые индексировать не нужно. Прописать этот файл необходимо в любом случае, поставив для user-agent символ *, а disallow оставив пустым, если вы ничего не скрываете от индексации. Первую команду необходимо прописывать отдельно для каждого краулера или спайдера отдельно, а части сайта не для индексации перечисляются одной строкой:

User-agent:*
Disallow: /css/
Dissalow: /images/


Кроме того, в файле обязательно присутствует директива Host, которая указывает на основное зеркало вашего сайта, без http:// и слэша в конце.

Перед тем, как окончательно заполнить файл, проверьте:
- соответствие команд внесённым адресам;
- правильную грамматику заполнения - никаких лишних символов и заглавных символов, в том числе пробелов и слэшей;

Также можно использовать команду Allow (разрешающую индексацию), но она непопулярна.

Также для навиации роботов важна карта сайта - sitemap (навигационный список структурных ссылок вашего сайта). В принципе, необязательно составлять её вручную - есть масса сайтов, которые предлагают составить sitemap автоматически - например, www.sitemapspal.com. Полученный код нужно разместить в текстовом файле в корневой директории вашего сайта.

_____
Если Вы заметили неточность или хотите дополнить эту статью, пожалуйста, напишите по адресу editor@raskrutka.by

0 баллов
Печать Отравить ссылку другу

Комментарии:

Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza. Yandex Facebook Google Вконтакте Mail.ru Twitter Loginza MyOpenID OpenID


Последние новости

Яндекс будет внимательнее следить за качеством рекламы на сайтах

Яндекс обновил алгоритм, определяющий влияние рекламы на удобство использования сайта. Поисковик улучшил определение страниц с рекламой, вводящей пользователей в заблуждение и мешающей навигации.

  0 баллов 0

Яндекс.Каталог официально закрыт

Яндекс официально объявил о том, что Яндекс.Каталог закрывается. тИЦ полностью переехал из Каталога в Яндекс.Вебмастер, поэтому теперь с ним можно ознакомиться в отдельном разделе.

  0 баллов 0

Google будет штрафовать за просроченные вакансии

Google уточнил правила разметки вакансий, размещаемых на сайтах. Теперь поисковая система может накладывать ручные санкции, если вакансии давно неактуальны.

  0 баллов 0

Последние публикации

Ведете рекламу в интернете самостоятельно? 6000 знаков о том, как дружить с налоговой.

В законодательстве Беларуси есть ряд нюансов, незнание которых может привести к серьезным проблемам при ведении рекламной кампании. Важно их учитывать, если вы пользуетесь рекламными услугами Google, Яндекса и социальных сетей. Эти компании не являются резидентами Республики Беларусь, так что при работе с ними нужно соблюдать особые требования налогового законодательства.

  0 баллов 0

Пока ты спал

Какой интернет-канал был наиболее выгодным для бизнеса в 2015 году, и на что сделать ставку в 2016-ом? Что на самом деле предлагают агентства под соусом лидогенерации? Как продвинуть сайт и не попасть под санкции поисковых систем? Ответы на эти вопросы теперь знают те, кто побывал на Дне открытых дверей Webcom Media.

  0 баллов 2

На Неделе Байнета-2015 лечили сайты, разговаривали с совестью и «палили» фишки

Новый алгоритм Яндекса, который поднял на уши Байнет и Рунет. Кардинальные изменения в мобильной выдаче Google. Малозатратные, но эффективные способы увеличения прибыли в кризис. Закулисные тайны интернет-маркетинга, раскрытые «человеком в маске».

  0 баллов 0

Тайный спикер дня SEO на Неделе Байнета: Что же делать? Надо делать то же, что и они – обманывать клиента!

Анонимный спикер. Все, что мы о нем знаем: человек, который имеет более 10 лет опыта в SEO. Начинал фрилансером, дорос до директора (владельца), сейчас занимается другим бизнесом.

  0 баллов 0

Интервью с Андреем Липатцевым, Google

Предлагаем вашему вниманию интервью Андрея Липатцева, который в своем докладе сорвет покровы с самой загадочной новости о глобальном изменении в мобильной выдаче Google.

  0 баллов 0

Рейтинги

Перейти в ТОП SEO персон

Игорь Колесень
Компания: POINTS
Должность: Руководитель
-1 баллов
Сергей Байков
Компания: Bel-SEO
Должность: Верховный шаман отдела продаж
0 баллов
Алексей Шунин
Компания: БМ-Медиа
Должность: Директор
0 баллов

Перейти в ТОП SEO компаний

ЧУП "БМ-Медиа"
Реклама в интернет, создание сайтов.
0 баллов
LightIdeas
Разработка программного обеспечения
0 баллов
ABKonDevelop
SEO-продвижение, web-разработка
0 баллов

ТОП пользователей

admin

483 балла
candy hard

308 баллов
Publisher_news

286 баллов