Файл Robots.txt и sitemap


Оптимизацию кода нужно начинать с пунктов переговоров с роботом – мета-тэга <Robots> (который необязателен, но полезен) и файла robots.txt (который и обязателен, и полезен). Оба они содержат инструкции действий касательно данной страницы. И тэг, и файл могут полностью запретить индексацию страницы, а также указать основное зеркало сайта, но на этом их общие функции заканчиваются.
Мета-тэг  <Robots> имеет следующий вид:
<meta name="robots" content="команды">
Команды, которые могут выполняться роботами согласно этому тегу, преимущественно разрешениезапрет:
индексацию страницы (indexnoindex);
разрешение на доступ перехода по указанным в нём ссылками (followno follow);
индексацию контекста (allnone).

Помните, что чем больше страниц у вас проиндексируется, тем больше шансов, что посетитель начнёт именно ваш сайт. Другое дело, что есть страницы (например, с личными данными), которым не нужно попадать в индекс, и их мы закрываем. Впрочем, основные действия, которые вы прописываете, относятся к небольшому количеству страниц, которые не должны попадать в индекс.

Файл robots.txt обязателен для внесения в общий код страницы, в отличие от тэга robots, он один раз заносится в корневую папку, а не на каждую страницу. Вот как он выглядит:

User-agent:
Disallow:


Первая команда обращается к конкретному роботу (роботу Яндекса, Google, а, может, ко всем сразу), а вторая нуждается в обозначении тех частей сайта, которые индексировать не нужно. Прописать этот файл необходимо в любом случае, поставив для user-agent символ *, а disallow оставив пустым, если вы ничего не скрываете от индексации. Первую команду необходимо прописывать отдельно для каждого краулера или спайдера отдельно, а части сайта не для индексации перечисляются одной строкой:

User-agent:*
Disallow: /css/
Dissalow: /images/


Кроме того, в файле обязательно присутствует директива Host, которая указывает на основное зеркало вашего сайта, без http:// и слэша в конце.

Перед тем, как окончательно заполнить файл, проверьте:
- соответствие команд внесённым адресам;
- правильную грамматику заполнения - никаких лишних символов и заглавных символов, в том числе пробелов и слэшей;

Также можно использовать команду Allow (разрешающую индексацию), но она непопулярна.

Также для навиации роботов важна карта сайта - sitemap (навигационный список структурных ссылок вашего сайта). В принципе, необязательно составлять её вручную - есть масса сайтов, которые предлагают составить sitemap автоматически - например, www.sitemapspal.com. Полученный код нужно разместить в текстовом файле в корневой директории вашего сайта.

_____
Если Вы заметили неточность или хотите дополнить эту статью, пожалуйста, напишите по адресу editor@raskrutka.by

0 баллов
Печать Отравить ссылку другу

Комментарии:

Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza. Yandex Facebook Google Вконтакте Mail.ru Twitter Loginza MyOpenID OpenID


Последние новости

Яндекс вводит в поиск кнопку «Турбо»

В ближайшее время Яндекс добавит в поиск функцию «Турбо». Она поможет сэкономить время и трафик мобильных пользователей. Формат подразумевает подгрузку контента со страниц прямо в интерфейс выдачи, без перехода на целевой сайт.

  0 баллов 0

Яндекс.Директ увеличивает лимит текста в объявлениях

Яндекс.Директ представил новый формат рекламных объявлений. Теперь в размещение можно включить два заголовка длиной до 35 и 30 символов соответственно. Дополнительный текст при этом ограничен 81 символом.

  0 баллов 0

В Яндекс.Директе появились счетчики «Метрики»

После очередного обновления Директа в сервисе появилась новая интересная возможность. Теперь пользователи могут добавлять к кампаниям сразу несколько счетчиков Яндекс.Метрики.

  0 баллов 0

Последние публикации

Ведете рекламу в интернете самостоятельно? 6000 знаков о том, как дружить с налоговой.

В законодательстве Беларуси есть ряд нюансов, незнание которых может привести к серьезным проблемам при ведении рекламной кампании. Важно их учитывать, если вы пользуетесь рекламными услугами Google, Яндекса и социальных сетей. Эти компании не являются резидентами Республики Беларусь, так что при работе с ними нужно соблюдать особые требования налогового законодательства.

  0 баллов 0

Пока ты спал

Какой интернет-канал был наиболее выгодным для бизнеса в 2015 году, и на что сделать ставку в 2016-ом? Что на самом деле предлагают агентства под соусом лидогенерации? Как продвинуть сайт и не попасть под санкции поисковых систем? Ответы на эти вопросы теперь знают те, кто побывал на Дне открытых дверей Webcom Media.

  0 баллов 1

На Неделе Байнета-2015 лечили сайты, разговаривали с совестью и «палили» фишки

Новый алгоритм Яндекса, который поднял на уши Байнет и Рунет. Кардинальные изменения в мобильной выдаче Google. Малозатратные, но эффективные способы увеличения прибыли в кризис. Закулисные тайны интернет-маркетинга, раскрытые «человеком в маске».

  0 баллов 0

Тайный спикер дня SEO на Неделе Байнета: Что же делать? Надо делать то же, что и они – обманывать клиента!

Анонимный спикер. Все, что мы о нем знаем: человек, который имеет более 10 лет опыта в SEO. Начинал фрилансером, дорос до директора (владельца), сейчас занимается другим бизнесом.

  0 баллов 0

Интервью с Андреем Липатцевым, Google

Предлагаем вашему вниманию интервью Андрея Липатцева, который в своем докладе сорвет покровы с самой загадочной новости о глобальном изменении в мобильной выдаче Google.

  0 баллов 0

Рейтинги

Перейти в ТОП SEO персон

Алексей Шунин
Компания: БМ-Медиа
Должность: Директор
0 баллов
Александр Дудинский
Компания: ИП
Должность: web-дизайнер
3 балла
Виталий Гринь
Компания: ITrust
Должность: Директор
0 баллов

Перейти в ТОП SEO компаний

Alt Media
Контекстная реклама, медийная реклама
0 баллов
a Priori
Интернет-реклама, комплексное продвижение сайтов
2 балла
Специализированное Интернет-рекламное агентство "iXBT" в РБ!
Рекламные кампании; интернет-реклама (контекстная, медийная и PR);...
0 баллов

ТОП пользователей

admin

483 балла
candy hard

308 баллов
Publisher_news

286 баллов