robots.txt для DLE 9.7
Какой правильный robots Поставить на сайт ,чтобы не было дублей.
Сейчас стоит такой :
User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /uploads/posts/*/*/$
Disallow: /favorites/
Disallow: /cache/
Disallow: /page/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /engine/download.php*
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /tags/*/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /addnews.html
Disallow: /banners/
Disallow: */page/*
Disallow: /page/*/
Disallow: /*/page/*
Disallow: /*/*/page/*
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /user/
Disallow: /user/*/
Disallow: /2012/
Disallow: /2012/*/
Disallow: /2012/*/*/
Disallow: /2013/
Disallow: /2013/*/
Disallow: /2013/*/*/
Disallow: /*cat=*
Disallow: /*p=*
Disallow: /*print
Disallow: /*do=addnews
Disallow: /*do=feedback
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=stats
Disallow: /*action=mobile$
Disallow: /*html?http*
Disallow: /*utm_medium*
Disallow: /?do=*
Disallow: /*?do=*
Disallow: /?iframe*
Disallow: /?p*
Disallow: /?*
Host: site.ru
Sitemap: http://cite.ru/sitemap.xml
User-agent: Yandex
Allow: /uploads/posts/
Disallow: /uploads/posts/*/*/$
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: /addnews.html
Disallow: /*/page/*
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /*/*/page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /tags/*/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /*do=rules
Disallow: /banners/
Disallow: /user/
Disallow: /2012/
Disallow: /2013/
Disallow: /print
Disallow: /?p*
Disallow: /*utm_medium
Disallow: /*action=mobile
Disallow: /do=*
Disallow: /?iframe*
Disallow: /*html?http*
Disallow: /*do=*
User-agent: *
Disallow: /*print
Disallow: /2011/
Disallow: /2012/
Disallow: /tags/
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /*?*
Sitemap: http://сайт.ru/sitemap.xml
Host: сайт.ru
Зачем директорию с картинками закрывать? Если так и задумано - то все ок.
Disallow: */page/
Disallow: */rss.php
Disallow: /*print
Disallow: /*userinfo
Disallow: /?do=feedback
Disallow: /?do=lastcomments
Disallow: /?do=register
Disallow: /2011/
Disallow: /2012/
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /cache/
Disallow: /engine/
Disallow: /favorites/
Disallow: /go/
Disallow: /*?*
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=lastnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=search
Disallow: /index.php?do=stats
Disallow: /index.php?do=tags
Disallow: /index.php?do=user
Disallow: /index.php?subaction=newposts
Disallow: /language/
Disallow: /lastnews/
Disallow: /page/
Disallow: /rss.xml
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /tags/
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Host: site.ru
Еще я через .htaccess убрал линки c index.php и принудительный слеш вконце, если ссылка не статья
itsec, а как это сделать через .htaccess
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !-f
RewriteCond %{REQUEST_URI} !/$
RewriteCond %{REQUEST_URI} !.html$
RewriteCond %{REQUEST_URI} !.xml$
RewriteRule (.+) $1/ [R=301,L]
# Редирект c www на без www
RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule ^(.*)$ http://site.ru/$1 [R=permanent,L]
# Редирект для главной (с /index.php,html на /)
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ / [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]
www.site.ru и site.ru заменяем на свои имена доменов
# Редирект для категорий (чтобы в конце URL был /)
а то яндекс пытается сканить и со слэше и без него, а у меня без слэша 404 выдавалась.
Очень помогли.