С такой ситуацией столкнулся частный сеошник, потребовав объяснений у представителей поисковой системы:
«Прокомментируйте, пожалуйста, следующее. У меня есть сайт, 100% страниц которого заблокированы в файле robots.txt. Однако в индексе Google присутствуют названия и описания этих страниц, равно как и другой контент с сайта».
Ответ сотрудника Google:
«URL-адрес, даже если он заблокирован в robots.txt, может быть проиндексирован без сканирования ботом. Обычно это происходит благодаря внешним или внутренним ссылкам, которые указывают на такой контент».
Как составить robots.txt самостоятельно – читайте здесь.
