Убрать 20 000 дублей на новостном портале

Лиза Симакова Лиза Симакова   17.12.2019 12:31   335  

Здравствуйте! Помогите пожалуйста  принять ответственное решение. Нужно избавиться от дублей на новостном сайте. Дубли составляют 40% от общего количества страниц сайта. Всего более 20 000 дублированных страниц. Вот типичные дубли http://skrinshoter.ru/s/171219...

Как лучше лучше от них избавиться?

1. Рил каноникал

2. 301 редирект

3. просто снести с сайта и тогда дубли станут отдавать 404 и их можно будет принудительно удалить из выдачи через панели вебмастера. Но как-то страшно, что половина страниц вдруг отдаст поисковику 404 - не будет ли каких санкций?

Не очень нравится варианты 1 и 2 так как это все равно не сэкономит краулинговый бюджет. Поисковики будут все равно заходить на эти дубли, просто не будут добавлять их в индекс.

Эти мусорные дубли сейчас радостно находятся в выдаче http://skrinshoter.ru/s/171219...


Ответы на вопрос (8) Написать ответ
Belkanton Group Belkanton Group   17.12.2019 13:09
Disallow: /?
0
Лиза Симакова Лиза Симакова   17.12.2019 13:12
Гениально) нет, правда, самое простое я упустила)
А как же краулинговый бюджет? Роботы поисковиков будут посещать страницы? Надо ли будет их удалить с сайта?
0
Belkanton Group Belkanton Group   17.12.2019 13:23
сами пропадут со временем из индекса
1
Belkanton Group Belkanton Group   17.12.2019 13:25
а вообще если есть на таких страничках полезная информация, лучше доработать сайт чтобы были свои уникальные метазаголовки для страничек этих.
0
Roman2002 Roman2002   17.12.2019 13:48
Я бы делал 301 редирект. Алгоритм элементарный: если при выводе страницы текущий урл отличается от правильного для этой новости, то делаем 301 редирект на правильный урл
0
Лиза Симакова Лиза Симакова   17.12.2019 20:18
Да там даже не новости, а какие-то дубли страниц из каталога организаций. Для посетителя ценности не представляют. Портал об энергетике и есть раздел с каталогом организаций этой отрасли.
0
wtf322 wtf322   18.12.2019 14:55
трафик не забудьте проверить, если 0 на всех страницах, можете сносить - пофиг
1
Лиза Симакова Лиза Симакова   22.12.2019 14:34
А вот Гугл пишет  https://pr-cy.ru/news/p/6985-google-meta-teg-noindex-gorazdo-effektivnee-komandy-disallow что дизаллоу не учитывает, если на страницу кто-то сошлется то она проиндексируется всеравно... и что надо использовать только ноиндекс, чтобы уж наверняка support.google.com/webmasters/answer/93710?hl=ru но тут же с оговоркой, что если страница закрыта в роботах, то ноиндекс на ней будет гуглботом игнорироваться... И вот... Теперь я думаю, что надо закрыть через ноиндекс все дубли с гет-параметрами, чтобы и Яндекс не индексировали Гугл. Яндекс же точно воспринимает ноиндекс? Верно? Хотя вероятность, что кто-то сошлется на эту шлаковую страницу равна 0,0001% Может тогда по энергозатратам рациональнее добавить просто директиву в robots.txt ?
0

Войдите, чтобы написать ответ
Вход Регистрация

Гарант сделок продажи и покупки сайтов, всего за 5%.