Войти
избегайте попадания содержимого служебных страниц в индекс

избегайте попадания содержимого служебных страниц в индекс

Поисковик не приветствует попадание контента из файла robots.txt или sitemap.xml в результаты поиска.

В том, что это может произойти, убеждают слова Гари Илша:

«С точки зрения индексации robots.txt всего-навсего обычный url-адрес. Такой урл может быть каноническим, а может и не быть. Следовательно, содержимое этого файла теоретически может быть проиндексировано. Единственное, что отличает такую страницу от остальных, это ее особое значение для сканирования».

К обсуждению подключился Джон Мюллер, отчасти подтвердив слова коллеги по Google:

«Если ваш файл robots.txt или sitemap.xml ранжируется по обычным поисковым запросам, то это значит, что дела с сайтом обстоят очень и очень плохо. В этом случае нужно приложить максимум усилий для улучшения ресурса».

Также эксперт предложил простой рецепт, как избежать попадания названных файлов в результаты основного поиска. Для этой цели веб-мастеру необходимо использовать HTTP-заголовок X-Robots-Tag. Это позволит заблокировать индексацию.

Данный способ, по мнению Гуглмена, не помешает прямому назначению файлов. Последним не нужна индексация, чтобы выполнять основные функции, которые на них возложены.

Ранее Google обновил спецификацию файла robots.txt.

Об авторе

Оставьте ответ

20 − 15 =

WhatsApp chat
Мы используем cookie-файлы для наилучшего представления нашего сайта. Продолжая использовать этот сайт, вы соглашаетесь с использованием cookie-файлов.
Принять