Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.
Здравствуйте, сегодня получил уведомление в вебмастер:
На вашем сайте некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?fro... дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.
Вот примеры страниц и дублирующих их страниц с незначащими GET-параметрами:
page21
site.ru/page/14/?page21
page21
site.ru//page/467/?page21
Помогите разобраться с этим! Что и как нужно прописать в robots.txt. Заранее всем спасибо.
Поможем улучшить ваш сайт.
Если эти страницы действительно являются дублями, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице.
Вот robots.txt с сайта:
Больше вопрос касательно страниц, почему к примеру идут //, такого не должно быть. Почему если одинаковые страницы доступны по 2ум разным url, такого тоже не должно быть и clean param или disallow здесь не нужны, здесь надо разбираться.
К примеру, если в интернет-магазине 2 одинаковых товара т.е. дубля, то нужно 1 удалить и с удаленного url поставить 301 на нужный товар, а не исключать 1 из товаров в правила.
clean param нужны вот для чего, к примеру есть страница
/dfgdfg/234234/dfgdgf/
у нее появились в ходе работы такие страницы
/dfgdfg/234234/dfgdgf/utm_compaign?234234324345
/dfgdfg/234234/dfgdgf/utm_term?456456g456f456456
и вот такие страницы надо с помощью clean приводить к 1 варианту.
Мне помогло так
Clean-param: &view&rtcl_location
в твоем случае будет
Clean-param: &tovary-from-mainpage
и да после того как я у себя сделал пришлось ждать два раза по 14 дней, с первого раза не схавал яндекс почему то