Проиндексировано, несмотря на блокировку в файле robots.txt

Проиндексировано, несмотря на блокировку в файле robots.txt

Странная вещь, потому что при нажатии гугл показывает список страниц.. которые никогда не блокировались в robots.txt, там почти все страницы сайта. Что делать?

Так проиндексировалось при запрете в robots.txt или наоборот не проиндексировалось при отсутствии запрета в robots.txt??? Правильно задавайте вопрос.

Если есть возможность, нужно вставить метатеги - фоллоу, ноиндекс. Так будет надежнее.

Это невероятно. Гугл никогда не лез в закрытые роботсом места. Таким образом я всегда надёжно закрывал js-код от простого просмотра Гуглом. И выводил на странице всё что хотел. Никаких нареканий не было.
Проверьте ещё раз - правильно ли закрыли страницы в роботсе.

Есть такая штука у Гугла, жутко бесит. Где-то в хелпах нашёл официальный комментарий к ситуации - "Если на страницу ссылается что-то важное, то эта страница всё же может быть проиндексирована, не смотря на запрет в файле robots.txt" (писал на память, а идеальную точно не ручаюсь).

Проверьте страницы в google вебмастер инструментом проверки robots.txt
Не замечал, чтобы google "перетрудился" и индексировал "закрытое от индексации".

1/ Проверьте robots.txt, правильность составления.
2/ Возможно, на сайте стоит какой-то плагин, блокирующий "корневой" роботс и реализующий - свой собственый.
3/ Возможно, вышкеназванные страницы были недавно "закрыты" и google не успел выполнить переобход и исключить их из поиска. В кэше они будут относительно долго "торчать".
4/ проверьте sitemap, ненужные страницы стоит из карты - удалить.

Читать всем.

Файл robots.txt сообщает поисковым роботам, какие страницы или файлы на вашем сайте можно или нельзя обрабатывать. Эта функция позволяет ограничить количество запросов, которые получает ваш веб-сервер, и снизить нагрузку на него. Она _не предназначена_ для того, _чтобы запрещать показ_ веб-страниц в результатах поиска Google. Если вы не хотите, чтобы какие-либо материалы с вашего сайта были представлены в Google, используйте теги или директивы noindex.

https://support.google.com/webmasters/answer/6062608?hl=ru

Фактически sitemap.xml и ссылки имеют бОльший вес при принятии решения об индексации, чем robots.txt

Та же проблема. Закрыто в robots.txt, в sitemap нету ничего. noindex и nofollow проставлены правильно.

Возможно гугл проиндексировал до установки запрета, а теперь когда запрет стоит робот не может зайти и страницы в поиске просто пока не выкинет.