В том, что это может произойти, убеждают слова Гари Илша:
«С точки зрения индексации robots.txt всего-навсего обычный url-адрес. Такой урл может быть каноническим, а может и не быть. Следовательно, содержимое этого файла теоретически может быть проиндексировано. Единственное, что отличает такую страницу от остальных, это ее особое значение для сканирования».
Triggered by an internal question: robots.txt from indexing point of view is just a url whose content can be indexed. It can become canonical or it can be deduped, just like any other URL.
— Gary "鯨理／경리" Illyes (@methode) November 6, 2019
It only has special meaning for crawling, but there its index status doesn't matter at all. pic.twitter.com/bBMXy1XcRF
К обсуждению подключился Джон Мюллер, отчасти подтвердив слова коллеги по Google:
«Если ваш файл robots.txt или sitemap.xml ранжируется по обычным поисковым запросам, то это значит, что дела с сайтом обстоят очень и очень плохо. В этом случае нужно приложить максимум усилий для улучшения ресурса».
Также эксперт предложил простой рецепт, как избежать попадания названных файлов в результаты основного поиска. Для этой цели веб-мастеру необходимо использовать HTTP-заголовок X-Robots-Tag. Это позволит заблокировать индексацию.
Данный способ, по мнению Гуглмена, не помешает прямому назначению файлов. Последним не нужна индексация, чтобы выполнять основные функции, которые на них возложены.
Ранее Google обновил спецификацию файла robots.txt.
