Некоторые страницы не попали в индекс Яндекса?
На сегодняшний день существует ситуация, которую я не могу объяснить.
Есть проект Postun.com. Мы пишем статьи с постовыми. Статьи качественные и уникальные (96-100%). Некоторые статьи не лезут в индекс. Хотя у сайта, которые публикует наши статьи с указанием источника, все статьи заходят в индекс Яндекса.
С чем это может связано? Что сделать, чтобы они попали в индекс. Добавлял статьи в Яндекс, но пока безуспешно...
Помогите с анализом ситуации и ее решением.
Все статьи попадают в Твиттер
Посмотрел еще ваш robots.txt - составлен неправильно:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://postun.com/sitemap.xml
User-agent: Yandex
Host: postun.com
Почему? Директива для Яндекса стоит после общей, поэтому запреты на индексацию, которые стоят выше не действуют для него, а значит все те ненужные и дубли страниц стараються попасть в индекс.
Я рекоммендую заменить ваш robots.txt на следующий:
User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://postun.com/sitemap.xml
Host: postun.com
Если вдруг захотите сказать "спасибо", вот мой профиль на маулнете.
А вообще можно и не скоращать их, а просто изменить роботс.тхт как я говорил и на регистрации можно будет не обращать внимание.