Как заставить гуглЕ индексировать только то, что нужно? ))
Яндекс отлично индексирует статьи, и все то, что не закрыто в файле роботс.тхт ... гугл же индексирует все, что есть на сайте..
Для гуглЕбота прописаны все директивы, такие же, как и для бота Яндекса. Однако картина другая...как попросить гугель индексировать только то, нужно)?? спасибо.
Google, как правило, индексирует все, что только можно: служебные страницы, теги и т.д. И далеко не всегда обращает внимание на запрет в robots.txt. Такой вот непослушный
Много чего интересного у него, пойду дальше читать =)
Он работает и для гуглабота.
может что-то не так сделал?
в Яндексе то все ок...
У Google много мощности и он индексируется все! Даже то, что закрыто в robots.txt
Думаю просто нужно подождать.. со временем все образуется.