На одном из сайтов при проверке через xenu выяснилось, что все страницы открываются с двух адресов - ЧПУ типа
https://сайт/статья и через дрянь типа https://сайт/?p=1956, https://сайт/?p=2392 и прочее.
Если я пропишу условие Disallow: /?* - ничего лишнего не закрою?
еще имей ввиду, что при таком ЧПУ страницы https://сайт/статья и https://сайт/статья/ являются разными страницами, потому нужно поставить .htaccess редирект на страницу со слэшом или без слэша... что привести к единому виду)
Со слэшами проблем нет, там все отредирекчено, меня интересует именно возможность проставления Disallow: /?* в роботс - не получится ли, что я еще и что-то лишнее запрещу к индексации? Или как еще можно с этой пачкой циферной справиться? На сайте около 400 страниц, соответственно, около 400 дублей с цифровыми значениями урл.
Иногда нормально, иногда нет.
Если чпу отлажено нормално, то
Disallow: /*?
не навредит.
ps: "Склеит"-не"склеит" - не ромашка. Робот он, может посчитать - как захочет, а не как правильно.
Вот когда robots.txt станет необязательным, вот тогда настанет - "веселка". А к этому всё и идет.