Брал домен с историей. На нем висел сайт + форум. Сейчас в поиске много страниц вида /forum, /id_dhjdhk.jpg и т.д. + при переходе на https и проставления 301 редиректа появились дубли index.php?/страница.
Стоит ли их закрывать от индексации будет ли толк ???
Dissalow: /forum
Dissalow: /id
Dissalow: /index.php?
Дописать в файл роботс ?
Желательно закрывать через мета-теги, роботс не надежный товарищ.