Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
Добрый день!
Нужна помощь. После заражения сайта, поисковик яндекс индексирует тысячи несуществующих страниц с ответом 404, такого типа:
site.ru/dirk-bikkembergs-polo-k.html
site.ru/ελληνική-ταινία-online-youtube-k.html
site.ru/καθισματα-θεατρου-πανινα-k.html
Стандартные (живые страницы нашего сайта) такие - site.ru/parket-polarwood-dub-scandinavian-anglijskaya-elka, то есть нет в конце страницы .html
Как задать правило в robots.txt, что бы исключить от индексирования все тысячи несуществующих страниц с окончанием .html?
Поможем улучшить ваш сайт.