SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Где яндекс находит такие внутренние ссылки?

Howard Howard  
23
  24.07.2014 18:49       1 219    
Господа, вопрос.
Есть сайт  сайт.рф (Wordress).
На этом сайте все статьи имеют адреса сайт.рф/text.html т.е. указано в "постоянных ссылках" пункт "произвольно".
Все бы ничего, но анализируя сайт в яндекс.вебмастере я увидел множество исключенных страниц. Анализируя исключенные страницы я обнаружил огромное количество адресов типа сайт.рф/?p=10, доступ к которым в роботс.тхт запрещен правилом /*?*. Ссылки в яндекс.вебмастере ведут к статьям, у которых адрес типа сайт.рф/text.html, т.е. идет перенаправление.

Собственно возник вопрос, откуда Яндекс увидел адрес статей, имеющий вид  сайт.рф/?p=10. Как это исправить? Что будет, если в роботс.тхт удалить правило, запрещающее индексирование страниц?

Ответы на пост (3) Написать ответ
ToXaD3 ToXaD3
214
24.07.2014 23:06
Дак доступ запрещен, поэтому они и исключены. А так - ПСы всегда все видят, если не хотите чтобы индексировалось - не создавайте такие страницы.
0
k-park k-park
168
25.07.2014 09:29
если удалите правило, то будет куча дубликатов страниц
0
grot grot
30
25.07.2014 21:04
у вас просто страницы имеют к примеру ограниченное количество статей к примеру 10 и после этого у вас появляется страница 2 с материалами, это ссылка перехода между страницами такие как правило находятся внизу страницы для перелистывания страниц с материалами.
0