Как правильно закрыть страницы page= в robots.txt?

Disallow: /*/page*
Disallow: /page*

А если вложенность больше? Например /catalog/111/23/24/?page=12

Первый вариант закроет индексацию по вашем принципу, а 2 конструкции закрывает полностью на всем сайте пагинацию от индексации поисковыми системами, тем самым дублей в поиске не будет.

А стоаницы на этой самой пагинации будут индексировпться?

Да все индексироваться будет, вложенность хоть бесконечная она все равно будет закрыта для индекса.

Спасибо, будем проверять)

Доброй ночи скажите а как закрыть архив со всеми годами от индексации пример /2015/08

закрытые динамические страницы в robots.txt попадают в "сопли" . сраницы пагинации лучше закрывать через "canonical" и мета-тег <meta name="robots" content="noindex, follow" />. например для страницы http://site.ru/catalog/111/23/24/?page=12 будет <link rel="canonical" href="http://site.ru/catalog/111/23/24" />

А как закрыть индексацию таких страниц site.ru/?=http://300smiles.dfdf одним словом на мой домен постоянно делают ссылки такого типа с разнымы сайтами не только тот что в примере. И по какойто причине при переходе на ссилку идет 301 редирект автоматом на главную, проверил htaccess ничего левого нету. Спасибо за совет

Привет.

Помогите плиз решить проблему в Гугл Вебмастере:

Ошибка сервера (5xx)
Дата обнаружения: 20.12.2017
Статус: Ошибка

http://site.ru/wp-content/themes/Newsmag

p.s. Боюсь полностью закрывать тему в robots.txt.

Как быть ?