Он в любом случае будет индексировать sitemap.xml.
А robots.txt он индексирует (т.к. он в корне), но практически не читает как яндекс (даже если User-agent: *).
Ето нормально.
Есле с вашого сайта идут ссылки на Sitemap, или Robots.txt то он обязательно будет индексировать их.
Единственный выход дописать перед ссылками
Ето неповлеяет на посещаемость сайта + уберет ссылки на Sitemap,Robots )
А robots.txt он индексирует (т.к. он в корне), но практически не читает как яндекс (даже если User-agent: *).
яндекс отображает просто более разумно, он их не показывает
Есле с вашого сайта идут ссылки на Sitemap, или Robots.txt то он обязательно будет индексировать их.
Единственный выход дописать перед ссылками
Ето неповлеяет на посещаемость сайта + уберет ссылки на Sitemap,Robots )
Без пробелов дописать.