Файл Robots.txt и sitemap


Оптимизацию кода нужно начинать с пунктов переговоров с роботом – мета-тэга <Robots> (который необязателен, но полезен) и файла robots.txt (который и обязателен, и полезен). Оба они содержат инструкции действий касательно данной страницы. И тэг, и файл могут полностью запретить индексацию страницы, а также указать основное зеркало сайта, но на этом их общие функции заканчиваются.
Мета-тэг  <Robots> имеет следующий вид:
<meta name="robots" content="команды">
Команды, которые могут выполняться роботами согласно этому тегу, преимущественно разрешениезапрет:
индексацию страницы (indexnoindex);
разрешение на доступ перехода по указанным в нём ссылками (followno follow);
индексацию контекста (allnone).

Помните, что чем больше страниц у вас проиндексируется, тем больше шансов, что посетитель начнёт именно ваш сайт. Другое дело, что есть страницы (например, с личными данными), которым не нужно попадать в индекс, и их мы закрываем. Впрочем, основные действия, которые вы прописываете, относятся к небольшому количеству страниц, которые не должны попадать в индекс.

Файл robots.txt обязателен для внесения в общий код страницы, в отличие от тэга robots, он один раз заносится в корневую папку, а не на каждую страницу. Вот как он выглядит:

User-agent:
Disallow:


Первая команда обращается к конкретному роботу (роботу Яндекса, Google, а, может, ко всем сразу), а вторая нуждается в обозначении тех частей сайта, которые индексировать не нужно. Прописать этот файл необходимо в любом случае, поставив для user-agent символ *, а disallow оставив пустым, если вы ничего не скрываете от индексации. Первую команду необходимо прописывать отдельно для каждого краулера или спайдера отдельно, а части сайта не для индексации перечисляются одной строкой:

User-agent:*
Disallow: /css/
Dissalow: /images/


Кроме того, в файле обязательно присутствует директива Host, которая указывает на основное зеркало вашего сайта, без http:// и слэша в конце.

Перед тем, как окончательно заполнить файл, проверьте:
- соответствие команд внесённым адресам;
- правильную грамматику заполнения - никаких лишних символов и заглавных символов, в том числе пробелов и слэшей;

Также можно использовать команду Allow (разрешающую индексацию), но она непопулярна.

Также для навиации роботов важна карта сайта - sitemap (навигационный список структурных ссылок вашего сайта). В принципе, необязательно составлять её вручную - есть масса сайтов, которые предлагают составить sitemap автоматически - например, www.sitemapspal.com. Полученный код нужно разместить в текстовом файле в корневой директории вашего сайта.

_____
Если Вы заметили неточность или хотите дополнить эту статью, пожалуйста, напишите по адресу editor@raskrutka.by

0 баллов
Печать Отравить ссылку другу

Комментарии:

Для добавления комментария надо зарегистрироваться и авторизоваться.
Добавить комментарий можно после авторизации через Loginza. Yandex Facebook Google Вконтакте Mail.ru Twitter Loginza MyOpenID OpenID


Последние новости

Как коронавирус повлиял на поведение пользователей в интернете

Старший SEO-менеджер Merkle Алексис Сэндерс рассказала об этом на Search Engine Land.

  0 баллов 0

Джон Мюллер пояснил, что такое качественный контент

И объяснил, на чем нужно сосредоточиться сайтовладельцам, чтобы контент стал таковым.

  0 баллов 0

Названы 3 типа сайтов, которым нужен Sitemap

На YouTube-канале Google Webmasters появилось новое видео, в котором поясняется, для каких сайтов необходим файл Sitemap.

  0 баллов 0

Последние публикации

Как Wi-Fi аналитика помогает бизнесу зарабатывать больше

Wi-Fi аналитика — это технология сбора, анализа и использования данных о посетителях ваших физических офисов и точек продаж с помощью Wi-Fi радара.

  0 баллов 0

Ведете рекламу в интернете самостоятельно? 6000 знаков о том, как дружить с налоговой.

В законодательстве Беларуси есть ряд нюансов, незнание которых может привести к серьезным проблемам при ведении рекламной кампании. Важно их учитывать, если вы пользуетесь рекламными услугами Google, Яндекса и социальных сетей. Эти компании не являются резидентами Республики Беларусь, так что при работе с ними нужно соблюдать особые требования налогового законодательства.

  0 баллов 1

Пока ты спал

Какой интернет-канал был наиболее выгодным для бизнеса в 2015 году, и на что сделать ставку в 2016-ом? Что на самом деле предлагают агентства под соусом лидогенерации? Как продвинуть сайт и не попасть под санкции поисковых систем? Ответы на эти вопросы теперь знают те, кто побывал на Дне открытых дверей Webcom Media.

  0 баллов 2

На Неделе Байнета-2015 лечили сайты, разговаривали с совестью и «палили» фишки

Новый алгоритм Яндекса, который поднял на уши Байнет и Рунет. Кардинальные изменения в мобильной выдаче Google. Малозатратные, но эффективные способы увеличения прибыли в кризис. Закулисные тайны интернет-маркетинга, раскрытые «человеком в маске».

  0 баллов 0

Тайный спикер дня SEO на Неделе Байнета: Что же делать? Надо делать то же, что и они – обманывать клиента!

Анонимный спикер. Все, что мы о нем знаем: человек, который имеет более 10 лет опыта в SEO. Начинал фрилансером, дорос до директора (владельца), сейчас занимается другим бизнесом.

  0 баллов 0

Рейтинги

Перейти в ТОП SEO персон

Ярослав Неверо
Компания: allby
Должность: Web-Мастер
0 баллов
Роман Севко
Компания: частное лицо
Должность: частное лицо
1 балл
Максим Мнацаканов
Компания: ИП Мнацаканов М.И.
Должность: SEO-специалист
10 баллов

Перейти в ТОП SEO компаний

ООО "Арт Фрейм"
Разработка, продвижение и обслуживание сайтов. Рекламный дизайн
0 баллов
Дизайн-студия КредоСистемс
Создание сайтов, SEO, консалтинг
0 баллов
BusinessForsage
разработка сайта, создание и размещение рекламы, услуги поисковой...
0 баллов

ТОП пользователей

admin

483 балла
candy hard

308 баллов
Publisher_news

286 баллов