SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

индексации категорий и страниц

asustek asustek  
70
  26.09.2011 05:23       2 195    
Есть киносайт на dle, в выдаче и вебмастер тоолс много дублей страниц,как закрыть страницы и категории в robots.txt Disallow: /*page/ ?

Ответы на пост (2) Написать ответ
krava11111 krava11111
49
26.09.2011 12:12
User-agent: Yandex
Disallow: /*print
Disallow: /tags/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?subaction=newposts
Disallow: /admin.php
Disallow: /2011/
Host: киносайт на dle
Sitemap:киносайт на dle/sitemap.xml
1
asustek asustek
70
26.09.2011 14:28
У меня такой роботс:

User-agent: *
Disallow: /engine/
Disallow: /go.php
Disallow: /go
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /page/
Disallow: /tags/
Disallow: /rules.html
Disallow: /kachestvo_filmov.html

User-agent: Yandex
Disallow: /engine/
Disallow: /go.php
Disallow: /go
Disallow: /tags/
Disallow: /user/
Disallow: /page/
Disallow: /actors/
Disallow: /directors/
Disallow: /year/
Disallow: /quality/
Disallow: /category/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /rules.html
Disallow: /kachestvo_filmov.html

Host: site.ru
Sitemap: http://site.ru/uploads/sitemap.xml

Вопрос: как правильнее писать -
Disallow: /*do=pm
или
Disallow: /index.php?do=pm
0