Все посты
2201 3 Знания

Google: мы можем индексировать контент даже без его сканирования

​Закрытые для индексации в robots.txt страницы все равно могут появиться в результатах поиска Google.

С такой ситуацией столкнулся частный сеошник, потребовав объяснений у представителей поисковой системы:

«Прокомментируйте, пожалуйста, следующее. У меня есть сайт, 100% страниц которого заблокированы в файле robots.txt. Однако в индексе Google присутствуют названия и описания этих страниц, равно как и другой контент с сайта».

Ответ сотрудника Google:

«URL-адрес, даже если он заблокирован в robots.txt, может быть проиндексирован без сканирования ботом. Обычно это происходит благодаря внешним или внутренним ссылкам, которые указывают на такой контент».

Как составить robots.txt самостоятельно – читайте здесь.

Возьмите под контроль продвижение своего сайта
Исправьте ошибки, которые мешают сайту выйти в топ, и вы увидите рост трафика и дохода.
🔍 Подпишись на @prcynews в телеграм — оставайся в курсе последних SEO новостей и свежих материалов.
Комментарии (3)
Ninoi   30.03.2019 16:11
...может быть проиндексирован без сканирования ботом, и даже оффлайн.) Google знает все!
Taras_Cherkassky   30.03.2019 16:19
На то он и Гугл...)
SeoPitcher   01.04.2019 14:53
Так давно уже так. Если на сайте с хорошей ссылочной массой закрыть от индексации страницу через мета + роботс, google формирует сниппет с анкоров внешних ссылок.
К данной записи нельзя добавлять комментарии, т.к. она очень старая.
🔥 Внутренняя оптимизация сайта — большой гайд по самостоятельной проверке
Фильтры, санкции и алгоритмы Google
Метатеги robots и X-Robots для управления индексацией страниц вручную