Дубли страниц
Доброе время суток
Суть вопроса . Я собирался прописать запрет на индексацию пс категорий сайта( сайт о кино грубо говоря ) в роботс.тхт
Но у конкурентов в топе, запрет ни в роботс.тхт нофолон и noindex не стоит на категории , тока если на "регистрация, восстановить пароль , обратная связь и тд"
Вопрос :
Стоит ли запрещать или пускай будет открыты категории(жанры) ?
Как тогда бороться с дублями страниц ?
В роботс.тхт нужно делать запрет на индексацию дубликатов, которые может создавать твоя CMS. Конкретнее ищи в Yandex или Google
По поводу закрытия страниц регистрации, восстановления и пароля - на усмотрение и индивидуально для каждого. Я бы не закрывал, если оно не "палит" CMS сайта, что поможет только злоумышленнику сделать "черное" дело.