1221 Знания

Google: избегайте попадания содержимого служебных страниц в индекс

Поисковик не приветствует попадание контента из файла robots.txt или sitemap.xml в результаты поиска.

В том, что это может произойти, убеждают слова Гари Илша:

«С точки зрения индексации robots.txt всего-навсего обычный url-адрес. Такой урл может быть каноническим, а может и не быть. Следовательно, содержимое этого файла теоретически может быть проиндексировано. Единственное, что отличает такую страницу от остальных, это ее особое значение для сканирования».

К обсуждению подключился Джон Мюллер, отчасти подтвердив слова коллеги по Google:

«Если ваш файл robots.txt или sitemap.xml ранжируется по обычным поисковым запросам, то это значит, что дела с сайтом обстоят очень и очень плохо. В этом случае нужно приложить максимум усилий для улучшения ресурса».

Также эксперт предложил простой рецепт, как избежать попадания названных файлов в результаты основного поиска. Для этой цели веб-мастеру необходимо использовать HTTP-заголовок X-Robots-Tag. Это позволит заблокировать индексацию.

Данный способ, по мнению Гуглмена, не помешает прямому назначению файлов. Последним не нужна индексация, чтобы выполнять основные функции, которые на них возложены.

Ранее Google обновил спецификацию файла robots.txt.

Новые сайты сразу попадут в мобильный индекс Google
Google: избегайте код ошибки 5xx для несуществующих страниц сайта
Google использует новую версию Chromium для рендеринга
Комментарии (8)
psyleads   6 дней назад в 19:06
Недавно в файле роботс закрыл страницы о сайте, об авторах, контакты , политика конфиденциальности и т.д. Правильно ли я сделал? Руководствовался мыслью чтоб сэкономить краулинговый бюджет и спасти немного ситуацию уникальности текста, так как политика конфиденциальности, на ее просто невозможно сделать уникальной в силу особенности этого документа. Иначе будет не соответствовать . То есть посетители видят эти страницы в шапке сайта и а меню на каждой странице, а роботы нет. Ассесоры тоже видят, что эти страницы существуют. То есть вроде так как надо.
maxklim   5 дней назад в 04:12
Вот оно несовершенство роботс и так во всем,где-то недоработали,где-то недосмотрели
Kattyha   5 дней назад в 12:16
Честно,непонятно, как служебные страницы могут просочиться в поисковики?!
Kirill_Chekin   5 дней назад в 16:06
Не было таких случаев, интересно в связи с чем могут возникнуть такие проблемы? Программный глюк?
Kostya_Tokin   4 дня назад в 08:23
У меня были такая печальная история, думал дело в домене,а окпзалось robots.txt напортачил
Василий Иванов   4 дня назад в 17:10
Скорее всего просто неккоректная директива была,если уже такое произошло
Redfoxnat   3 дня назад в 15:33
Говорят, как-будто по взмаху волшебной палочки,раз и у тебя страницы которые на запрете индексации стали индексироваться, это я только одна так прочитала?
Natalia88   2 дня назад в 08:19
Вовремя напомнили, давно не проверяла как там страницы мои, надеюсь ничего не изменилось

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться