Как правильно закрыть страницы page= в robots.txt?

sequelone sequelone   01.08.2016 16:28   6 150  
Всем привет,  назрел такой вопрос, как правильно закрыть от индексации пагинацию, чтобы робот мог ходить по страницам и индексировать странички, но страницы типа:

/video/?page=2
/articles/?page=10
/news/?page=34

и т.д. не индексировал. Как это прописать в robots.txt?

Ответы на вопрос (10) Написать ответ
voloskov97 voloskov97   01.08.2016 16:37
Disallow: /*/page*
Disallow: /page*
4
sequelone sequelone   01.08.2016 16:40
А если вложенность больше? Например /catalog/111/23/24/?page=12
0
voloskov97 voloskov97   01.08.2016 16:39
Первый вариант закроет индексацию по вашем принципу, а 2 конструкции закрывает полностью на всем сайте пагинацию от индексации поисковыми системами, тем самым дублей в поиске не будет.
0
sequelone sequelone   01.08.2016 16:41
А стоаницы на этой самой пагинации будут индексировпться?
0
voloskov97 voloskov97   01.08.2016 17:38
Да все индексироваться будет, вложенность хоть бесконечная она все равно будет закрыта для индекса.
1
sequelone sequelone   01.08.2016 17:49
Спасибо, будем проверять)
0
alexliplip alexliplip   02.08.2016 00:08
Доброй ночи скажите а как закрыть архив со всеми годами от индексации пример /2015/08
0
1maxim1 1maxim1   02.08.2016 00:43
закрытые динамические страницы в robots.txt попадают в "сопли" . сраницы пагинации лучше закрывать через "canonical" и мета-тег <meta name="robots" content="noindex, follow" />. например для страницы http://site.ru/catalog/111/23/24/?page=12 будет <link rel="canonical" href="http://site.ru/catalog/111/23/24" />
1
belkor13 belkor13   13.06.2017 17:09
А как закрыть индексацию таких страниц site.ru/?=http://300smiles.dfdf одним словом на мой домен постоянно делают ссылки такого типа с разнымы сайтами не только тот что в примере. И по какойто причине при переходе на ссилку идет 301 редирект автоматом на главную, проверил htaccess ничего левого нету. Спасибо за совет
0
amar-hamam amar-hamam   28.09.2018 13:31
Привет.

Помогите плиз решить проблему в Гугл Вебмастере:

Ошибка сервера (5xx)
Дата обнаружения: 20.12.2017
Статус: Ошибка

http://site.ru/wp-content/themes/Newsmag

p.s. Боюсь полностью закрывать тему в robots.txt.

Как быть ?
0

Войдите, чтобы написать ответ
Вход Регистрация

Поможем не рискуя купить или продать сайт!