1273 Знания

Google: мы можем индексировать контент даже без его сканирования

​Закрытые для индексации в robots.txt страницы все равно могут появиться в результатах поиска Google.

С такой ситуацией столкнулся частный сеошник, потребовав объяснений у представителей поисковой системы:

«Прокомментируйте, пожалуйста, следующее. У меня есть сайт, 100% страниц которого заблокированы в файле robots.txt. Однако в индексе Google присутствуют названия и описания этих страниц, равно как и другой контент с сайта».

Ответ сотрудника Google:

«URL-адрес, даже если он заблокирован в robots.txt, может быть проиндексирован без сканирования ботом. Обычно это происходит благодаря внешним или внутренним ссылкам, которые указывают на такой контент».

Как составить robots.txt самостоятельно – читайте здесь.

Как частота сканирования влияет на позиции в поиске
Что Google думает об AMP-only сайтах
​Google: мы индексируем контент, даже если в интернете много похожего
Комментарии (3)
Ninoi   30.03.2019 16:11
...может быть проиндексирован без сканирования ботом, и даже оффлайн.) Google знает все!
Taras_Cherkassky   30.03.2019 16:19
На то он и Гугл...)
SeoPitcher   01.04.2019 14:53
Так давно уже так. Если на сайте с хорошей ссылочной массой закрыть от индексации страницу через мета + роботс, google формирует сниппет с анкоров внешних ссылок.

Чтобы оставлять комментарии, вам нужно войти в систему

Авторизоваться

К данной записи нельзя добавлять комментарии, т.к. она очень старая.