Где яндекс находит такие внутренние ссылки?
Господа, вопрос.
Есть сайт сайт.рф (Wordress).
На этом сайте все статьи имеют адреса сайт.рф/text.html т.е. указано в "постоянных ссылках" пункт "произвольно".
Все бы ничего, но анализируя сайт в яндекс.вебмастере я увидел множество исключенных страниц. Анализируя исключенные страницы я обнаружил огромное количество адресов типа сайт.рф/?p=10, доступ к которым в роботс.тхт запрещен правилом /*?*. Ссылки в яндекс.вебмастере ведут к статьям, у которых адрес типа сайт.рф/text.html, т.е. идет перенаправление.
Собственно возник вопрос, откуда Яндекс увидел адрес статей, имеющий вид сайт.рф/?p=10. Как это исправить? Что будет, если в роботс.тхт удалить правило, запрещающее индексирование страниц?