У меня в поиске что гугла что яндекса нет внутренних страниц, они исключены. Вот сайт
http://lentaporno.com/ проверьте, там только категории и страницы типа 2, 3,.. а внутренних нет. В чем проблема может быть? Может быть в коде че то не так? или другая причина. Очень нужна помощь, сам понять не могу.
У Вас - толпы страниц-дублеров (чем характерен dle), а вы их не "закрыли". Вот Вам и санкции: страницы дублеры - караются всеми ПС похлеще порнушки...
Это не факт.
Одним поисковикам известно что с сайтом есть и будет :)
А вот дубли: да, Вы правы.
Но: robots (имхо) - впереди паравоза нужно править. И буде в порнухе счастье :)
Три страницы дублируют друг-дружку. Убить: page/, убить категорию anal/
Переписать настройку ЧПУ без категорий, выглядеть будет как: http://lentaporno.com/547-prochistil-zadniy-prohod-radi-zabavy.html
И только такого формата оставить в индексе, остальное - дубли... Есть еще и print, и пр. ненужное. Например:
User-agent: *
Disallow: /user/
Disallow: /backup/
Disallow: /banners/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /top/
Disallow: /404/
Disallow: /page/
Disallow: /tags/
Disallow: /2011/
Disallow: /2012/
Disallow: /chat/
Disallow: /main/
Disallow: /files/
Disallow: /index.php
Disallow: /page/
Disallow: */page/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /feedback.html
Disallow: /forum
Disallow: /print
Disallow: /rss
Disallow: /*registraciya-na-sayte
Disallow: /*comment
Disallow: /*print
Disallow: /*?
Disallow: /*.xls$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.rtf$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.css$
Disallow: /*.js$
Allow: /
Host: superguest.ru
Sitemap: http://ваш сайт/Sitemap.xml
Disallow: /*?
Disallow: /*.xls$
Disallow: /*.doc$
Disallow: /*.pdf$
Disallow: /*.rtf$
Disallow: /*.zip$
Disallow: /*.rar$
Disallow: /*.css$
Disallow: /*.js$
И Disallow: /rss нужно разве закрывать?
PS. Спасибо всем. Надеюсь это решит проблему.