Индексация сайта Гуглом
Что-то Гугл совсем странно себя ведёт.
Индексирует и Robots.txt и Sitemap.xml
Или это нормально для него?
Выдача гугла - http://bit.ly/xIXCFR
Индексирует и Robots.txt и Sitemap.xml
Или это нормально для него?
Выдача гугла - http://bit.ly/xIXCFR
А robots.txt он индексирует (т.к. он в корне), но практически не читает как яндекс (даже если User-agent: *).
яндекс отображает просто более разумно, он их не показывает
Есле с вашого сайта идут ссылки на Sitemap, или Robots.txt то он обязательно будет индексировать их.
Единственный выход дописать перед ссылками
Ето неповлеяет на посещаемость сайта + уберет ссылки на Sitemap,Robots )
Без пробелов дописать.