приветствую камрады
проблема следующая - с очень старого сайта при переносе сайт на вордпрес, залетела старая php БД, как результат куча спамм URL, привожу пример
http://site.ru/cat/post.html/post.phpвопрос - как их всех зарыть от поисковых систем?
их всех - имеется ввиду юрлы, которые идут после .html
что исправить в базе? я ж написал что случайно в общие файлы, залилась СТАРАЯ php база, которая наспамила
вопрос как исключить (закрыть) все юрлы которые идут после .html/
abcdef .html ?php12345_и.т.д._12345
Чтобы избавиться от этой ерунды, достаточно дописать в robots.txt следующее
Пример:
Disallow:
Clean-param: ?php12345_и.т.д._12345
и всё. проблемы с твоими 1800 страниц решены.
у меня ссылки имеют следующий характер (как показал на примере выше)
http://site.ru/cat/post.html/post.php
как прописывать в моем случае?
Clean-param: */post.php
Disallow: /*.php$
В этом случае вообще все твои страницы с .php вылетят с поиска и не будут индексироваться.