Файл Robots.txt и sitemap


Оптимизацию кода нужно начинать с пунктов переговоров с роботом – мета-тэга <Robots> (который необязателен, но полезен) и файла robots.txt (который и обязателен, и полезен). Оба они содержат инструкции действий касательно данной страницы. И тэг, и файл могут полностью запретить индексацию страницы, а также указать основное зеркало сайта, но на этом их общие функции заканчиваются.
Мета-тэг  <Robots> имеет следующий вид:
<meta name="robots" content="команды">
Команды, которые могут выполняться роботами согласно этому тегу, преимущественно разрешениезапрет:
индексацию страницы (indexnoindex);
разрешение на доступ перехода по указанным в нём ссылками (followno follow);
индексацию контекста (allnone).

Помните, что чем больше страниц у вас проиндексируется, тем больше шансов, что посетитель начнёт именно ваш сайт. Другое дело, что есть страницы (например, с личными данными), которым не нужно попадать в индекс, и их мы закрываем. Впрочем, основные действия, которые вы прописываете, относятся к небольшому количеству страниц, которые не должны попадать в индекс.

Файл robots.txt обязателен для внесения в общий код страницы, в отличие от тэга robots, он один раз заносится в корневую папку, а не на каждую страницу. Вот как он выглядит:

User-agent:
Disallow:


Первая команда обращается к конкретному роботу (роботу Яндекса, Google, а, может, ко всем сразу), а вторая нуждается в обозначении тех частей сайта, которые индексировать не нужно. Прописать этот файл необходимо в любом случае, поставив для user-agent символ *, а disallow оставив пустым, если вы ничего не скрываете от индексации. Первую команду необходимо прописывать отдельно для каждого краулера или спайдера отдельно, а части сайта не для индексации перечисляются одной строкой:

User-agent:*
Disallow: /css/
Dissalow: /images/


Кроме того, в файле обязательно присутствует директива Host, которая указывает на основное зеркало вашего сайта, без http:// и слэша в конце.

Перед тем, как окончательно заполнить файл, проверьте:
- соответствие команд внесённым адресам;
- правильную грамматику заполнения - никаких лишних символов и заглавных символов, в том числе пробелов и слэшей;

Также можно использовать команду Allow (разрешающую индексацию), но она непопулярна.

Также для навиации роботов важна карта сайта - sitemap (навигационный список структурных ссылок вашего сайта). В принципе, необязательно составлять её вручную - есть масса сайтов, которые предлагают составить sitemap автоматически - например, www.sitemapspal.com. Полученный код нужно разместить в текстовом файле в корневой директории вашего сайта.

_____
Если Вы заметили неточность или хотите дополнить эту статью, пожалуйста, напишите по адресу editor@raskrutka.by

0 баллов
Печать Отравить ссылку другу

Комментарии:

Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza. Yandex Facebook Google Вконтакте Mail.ru Twitter Loginza MyOpenID OpenID


Последние новости

Google внедрил новый алгоритм … для сжатия рекламы!

Google объявил о полноценном запуске нового алгоритма, получившего название Brotli. Но его главная задача – не участие в ранжировании сайтов, а сжатие медийных объявлений из сети поисковика.

  0 баллов 0

YouTube будет жестче фильтровать контент

YouTube представил подробный план своих действий по борьбе с нежелательным контентом.

  0 баллов 0

Яндекс рассказал, как оптимизаторы борются с последствиями «Баден-Бадена»

В Яндексе опубликовали отчет о том, как последствия запуска нового алгоритма «Баден-Баден» повлияли на работу оптимизаторов.

  0 баллов 0

Последние публикации

Ведете рекламу в интернете самостоятельно? 6000 знаков о том, как дружить с налоговой.

В законодательстве Беларуси есть ряд нюансов, незнание которых может привести к серьезным проблемам при ведении рекламной кампании. Важно их учитывать, если вы пользуетесь рекламными услугами Google, Яндекса и социальных сетей. Эти компании не являются резидентами Республики Беларусь, так что при работе с ними нужно соблюдать особые требования налогового законодательства.

  0 баллов 0

Пока ты спал

Какой интернет-канал был наиболее выгодным для бизнеса в 2015 году, и на что сделать ставку в 2016-ом? Что на самом деле предлагают агентства под соусом лидогенерации? Как продвинуть сайт и не попасть под санкции поисковых систем? Ответы на эти вопросы теперь знают те, кто побывал на Дне открытых дверей Webcom Media.

  0 баллов 1

На Неделе Байнета-2015 лечили сайты, разговаривали с совестью и «палили» фишки

Новый алгоритм Яндекса, который поднял на уши Байнет и Рунет. Кардинальные изменения в мобильной выдаче Google. Малозатратные, но эффективные способы увеличения прибыли в кризис. Закулисные тайны интернет-маркетинга, раскрытые «человеком в маске».

  0 баллов 0

Тайный спикер дня SEO на Неделе Байнета: Что же делать? Надо делать то же, что и они – обманывать клиента!

Анонимный спикер. Все, что мы о нем знаем: человек, который имеет более 10 лет опыта в SEO. Начинал фрилансером, дорос до директора (владельца), сейчас занимается другим бизнесом.

  0 баллов 0

Интервью с Андреем Липатцевым, Google

Предлагаем вашему вниманию интервью Андрея Липатцева, который в своем докладе сорвет покровы с самой загадочной новости о глобальном изменении в мобильной выдаче Google.

  0 баллов 0

Рейтинги

Перейти в ТОП SEO персон

Павел Ободовский
Компания: Студия интернет-проектов Proweb
Должность: Ведущий seo-специалист
0 баллов
Денис Гурьев
Компания: Webcom Media
Должность: директор российского направления Webcom Media
9 баллов
Роман Вердыш
Компания: Romanus.ru
Должность: Частный сеошник и блоггер
0 баллов

Перейти в ТОП SEO компаний

Web-студия "Белый медведь"
Создание и продвижение работающих сайтов
0 баллов
Obyavkaby
Интернет реклама, Контекстная реклама, Размещение объявлений.
0 баллов
Визор Медия
Разработка сайтов, которые приносят доход. Поисковое продвижение на...
7 баллов

ТОП пользователей

admin

483 балла
candy hard

308 баллов
Publisher_news

286 баллов