Государственные сайты не заинтересованы в поисковых системах

Некоммерческая организация CommonCrawl Foundation провела исследование, согласно которому около 3,5% сайтов государственной принадлежности в зоне .gov добровольно отказываются от индексации поисковыми системами. Для этого они закрывают индексацию в файле robots.txt, иногда делая исключение для ботов Google. Делается это по разным причинам - кто-то для ''безопасности данных'', а кто-то во избежание лишней нагрузки на сервера. Хотя вряд ли поисковые боты были причиной нагрузки на сайт Минобороны Китая, который принял более 200 миллион атак за месяц. Что касается белорусских сайтов, то на большинстве из них от индексации закрыты только разделы с приватной информацией, а на сайте Президента РБ robots.txt и вовсе отсутствует.

С использованием материалов webplanet.ru