Файл Robots.txt и sitemap


Оптимизацию кода нужно начинать с пунктов переговоров с роботом – мета-тэга <Robots> (который необязателен, но полезен) и файла robots.txt (который и обязателен, и полезен). Оба они содержат инструкции действий касательно данной страницы. И тэг, и файл могут полностью запретить индексацию страницы, а также указать основное зеркало сайта, но на этом их общие функции заканчиваются.
Мета-тэг  <Robots> имеет следующий вид:
<meta name="robots" content="команды">
Команды, которые могут выполняться роботами согласно этому тегу, преимущественно разрешениезапрет:
индексацию страницы (indexnoindex);
разрешение на доступ перехода по указанным в нём ссылками (followno follow);
индексацию контекста (allnone).

Помните, что чем больше страниц у вас проиндексируется, тем больше шансов, что посетитель начнёт именно ваш сайт. Другое дело, что есть страницы (например, с личными данными), которым не нужно попадать в индекс, и их мы закрываем. Впрочем, основные действия, которые вы прописываете, относятся к небольшому количеству страниц, которые не должны попадать в индекс.

Файл robots.txt обязателен для внесения в общий код страницы, в отличие от тэга robots, он один раз заносится в корневую папку, а не на каждую страницу. Вот как он выглядит:

User-agent:
Disallow:


Первая команда обращается к конкретному роботу (роботу Яндекса, Google, а, может, ко всем сразу), а вторая нуждается в обозначении тех частей сайта, которые индексировать не нужно. Прописать этот файл необходимо в любом случае, поставив для user-agent символ *, а disallow оставив пустым, если вы ничего не скрываете от индексации. Первую команду необходимо прописывать отдельно для каждого краулера или спайдера отдельно, а части сайта не для индексации перечисляются одной строкой:

User-agent:*
Disallow: /css/
Dissalow: /images/


Кроме того, в файле обязательно присутствует директива Host, которая указывает на основное зеркало вашего сайта, без http:// и слэша в конце.

Перед тем, как окончательно заполнить файл, проверьте:
- соответствие команд внесённым адресам;
- правильную грамматику заполнения - никаких лишних символов и заглавных символов, в том числе пробелов и слэшей;

Также можно использовать команду Allow (разрешающую индексацию), но она непопулярна.

Также для навиации роботов важна карта сайта - sitemap (навигационный список структурных ссылок вашего сайта). В принципе, необязательно составлять её вручную - есть масса сайтов, которые предлагают составить sitemap автоматически - например, www.sitemapspal.com. Полученный код нужно разместить в текстовом файле в корневой директории вашего сайта.

_____
Если Вы заметили неточность или хотите дополнить эту статью, пожалуйста, напишите по адресу editor@raskrutka.by

0 баллов
Печать Отравить ссылку другу

Комментарии:

Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza. Yandex Facebook Google Вконтакте Mail.ru Twitter Loginza MyOpenID OpenID


Последние новости

YouTube меняет правила монетизации

Видеосервис YouTube меняет свои требования к партнерам, зарабатывающим на контенте за счет рекламы. Теперь подключить монетизацию смогут лишь те, кто набрал 1 000 подписчиков и 4 000 часов просмотров.

  0 баллов 0

Google Картинки не индексирует содержимое CSS

В Google Картинки не попадают изображения, размещенные на странице с помощью CSS. Так что если вебмастер хочет, чтобы его сайт был виден в поиске по картинкам, ему следует использовать классический тег img с корректным src-атрибутом.

  0 баллов 0

Google использует канонические ссылки из Sitemap

Джон Мюллер, сотрудник Google отдела качества поиска, поделился интересной информацией об XML Sitemap. По словам специалиста, именно Sitemap используется поисковой системой для поиска канонических версий страниц.

  0 баллов 0

Последние публикации

Ведете рекламу в интернете самостоятельно? 6000 знаков о том, как дружить с налоговой.

В законодательстве Беларуси есть ряд нюансов, незнание которых может привести к серьезным проблемам при ведении рекламной кампании. Важно их учитывать, если вы пользуетесь рекламными услугами Google, Яндекса и социальных сетей. Эти компании не являются резидентами Республики Беларусь, так что при работе с ними нужно соблюдать особые требования налогового законодательства.

  0 баллов 0

Пока ты спал

Какой интернет-канал был наиболее выгодным для бизнеса в 2015 году, и на что сделать ставку в 2016-ом? Что на самом деле предлагают агентства под соусом лидогенерации? Как продвинуть сайт и не попасть под санкции поисковых систем? Ответы на эти вопросы теперь знают те, кто побывал на Дне открытых дверей Webcom Media.

  0 баллов 1

На Неделе Байнета-2015 лечили сайты, разговаривали с совестью и «палили» фишки

Новый алгоритм Яндекса, который поднял на уши Байнет и Рунет. Кардинальные изменения в мобильной выдаче Google. Малозатратные, но эффективные способы увеличения прибыли в кризис. Закулисные тайны интернет-маркетинга, раскрытые «человеком в маске».

  0 баллов 0

Тайный спикер дня SEO на Неделе Байнета: Что же делать? Надо делать то же, что и они – обманывать клиента!

Анонимный спикер. Все, что мы о нем знаем: человек, который имеет более 10 лет опыта в SEO. Начинал фрилансером, дорос до директора (владельца), сейчас занимается другим бизнесом.

  0 баллов 0

Интервью с Андреем Липатцевым, Google

Предлагаем вашему вниманию интервью Андрея Липатцева, который в своем докладе сорвет покровы с самой загадочной новости о глобальном изменении в мобильной выдаче Google.

  0 баллов 0

Рейтинги

Перейти в ТОП SEO персон

Наталия Янкович
Компания: КасперСистемс
Должность: специалист по продвижению сайтов
0 баллов
Алексей Шунин
Компания: БМ-Медиа
Должность: Директор
0 баллов
Лида Матвеева
Компания: °dewpoint
Должность: Управляющий
0 баллов

Перейти в ТОП SEO компаний

Каспер
Создание сайта, редизайн, продвижение сайта, хостинг...
0 баллов
ООО «Компания Инновация»
разработка сайтов, SEO, контекстная реклама
0 баллов
ЧУП "Актуальные Интернет Технологии"
создание и продвижение сайтов
0 баллов

ТОП пользователей

admin

483 балла
candy hard

308 баллов
Publisher_news

286 баллов