SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Удаление страниц в яндекс вебмастер

Удаление страниц в яндекс вебмастер

milushkina-a milushkina-a  
2
  23.11.2015 23:00       5 022    
Добрый день, помогите, пожалуйста разобраться, на моем сайте 66 страниц в поиске, а загружено роботом 1100 страниц - правильно ли я понимаю - это дубликаты? Попыталась удалить один из дублей через Яндекс Вебмастер, появляется ошибка: Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатегом noindex.  Т.е. нужно запретить индексирование дублей в robots.txt? Вопрос: каждая страница, из 1000 дублей, в отдельности запрещается в robots.txt или есть алгоритм как их объединить в группы и запретить все одним махом? Вот примеры дублей:
1. /uslugi/novosti/2014/06/12/.../novosti/novosti/2014/05/15/...
2. /novosti/2014/06/12/.../uslugi/novosti/2014/06/05/.../dokumentyi.html
3. /uslugi/novosti/2014/06/05/.../novosti/2014/06/09/.../
4. /novosti/novosti/novosti/2014/03/27/...
5. /novosti/2014/06/09/.../uslugi/uslugi/novosti/и др. Спасибо за ответ.
2

Ответы на пост (9) Написать ответ
Быстрая регистрация для ответа Войти
mlamla1111 mlamla1111
62
23.11.2015 23:07
На форуме задайте вопрос
0
Chuvachok Chuvachok
1124
23.11.2015 23:12
Нет, это не дубли, во-первых окончание дублей как правило *php
во-вторых, дубли бывают в количестве 2-3 на страницу
в-третьих, 1100 страниц скорее не имеют смысла для поисковика, чтобы добавлять их в поиск, вот
он и выбрал самые оптимальные 66 страниц.
0
milushkina-a milushkina-a
2
23.11.2015 23:19
Сайт действительно состоит где-то из 60 страниц, а почти все эти загруженные роботом страницы (1000 шт.) ведут на одну и ту же страницу с перечнем новостей на сайте. Как же все-таки с этим бороться? Ведь мне сказали что такая разница в количестве страниц на поиске и загруженных роботом это кошмар, караул и с этим надо что-то делать, а вот что делать вопрос?
0
Roman2002 Roman2002
220
23.11.2015 23:38
Шаблоны свои ковыряйте, ссылки, видимо, относительные где-то указываются, поэтому вложенность подобная появляется. Ну и естественно, сама cms должна возвращать 404 ошибку на неправильный url.

Как вариант, указывайте в заколовке канонический адрес страницы, тогда дубли должны склеится через какое-то время.
0
anotcher anotcher
39
24.11.2015 00:31
для начала, действительно нужно удостовериться что это действительно дубли, а затем прояснить что у вас за движок сайта, тогда уже можно советывать какой либо вариант роботса.
0
milushkina-a milushkina-a
2
24.11.2015 00:42
Пыталась проверить таким способом - site:"оригинальный текст со страницы", появляется 2-3 разных не существующих страницы, с url, которые писала в вопросе, но не вся 1000 страниц. Сайт на MODX.
0
serjin serjin
78
24.11.2015 02:07
Это и есть дубли , если они появляются в поиске значит нужно избавлятся!
почитайте эту тему возможно вам будет полезно
https://talk.pr-cy.ru/topic/20040-vojna-s-dublyami-dublim-dubli-ili-budni-optimiza/
0
milushkina-a milushkina-a
2
24.11.2015 14:21
Спасибо за ссылку, материал полезный.
Но остается вопрос, если эти страницы - дубли, но состоят они полностью из адресов моих реальных страниц, без всяких доп. значков. Как их запретить в robots.txt, прописывать полностью? Или вписывать например так Disallow:/*uslugi/novosti/, не запретит ли это реальные страницы в отдельности? И нормально ли это если robots.txt будет состоять из 1000 исключенных страниц, прописанных полностью?
0
wesder wesder
146
24.11.2015 05:30
скиньте урл в лс - подскажу решение проблемы
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.