.htaccess и robots.txt в dle

Robots.txt Сойдёт вот только уберите строку Disallow: /upgrade/ эту папку не нужно закрывать, её нужно удалять после установки движка.

И еще укажите какой у вас ЧПУ установлен на сайте.

Тип 2 - ссылки на полную новость будут иметь вид http://site.ru/категория/подкатегория/id-имя новости.html

В .htaccess не селён, но говорят что для ЧПУ-2 лучше заменить эту часть кода:
# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2 [L]
RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1 [L]

На это:
# Сам пост
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2 [L]

Насколько это правильно не знаю, так что решай сам, вносить изменения или нет.

Спасибо.

Буду рад услышать еще мнения.

Я настраивался по этой статье.
http://web-unlims.ru/files/freedle/9-pravilnyy-robotstxt-dlya-dle.html

Там и роботс и .htaccess расписаны хорошо.
Идексирует все четко, ничего лишнего;)

Настройка .htaccess для DLE. Так же стоит объяснить роботам, какой именно домен основной ( с www или без www) # Редирект c www на без www RewriteCond %{HTTP_HOST} ^www.site.ru RewriteRule ^(.*)$ http://site.ru/$1 [R=permanent,L] # Редирект для главной (с /index.php,html на /) RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/ RewriteRule ^index\.html$ / [R=301,L] RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/ RewriteRule ^index\.php$ / [R=301,L]

Источник: http://web-unlims.ru/files/freedle/9-pravilnyy-robotstxt-dlya-dle.html
© Web-Unlims.ru

вообщем проще статью почитать)

Спасибо

я бы советовал

User-agent: Mediapartners-Google

User-agent: *
 Disallow: /engine/go.php
 Disallow: /engine/download.php
 Disallow: /user/
 Disallow: /newposts/
 Disallow: /statistics.html
 Disallow: /*subaction=userinfo
 Disallow: /*subaction=newposts
 Disallow: /*do=lastcomments
 Disallow: /*do=feedback
 Disallow: /*do=register
 Disallow: /*do=lostpassword
 Disallow: /*do=addnews
 Disallow: /*do=stats
 Disallow: /*do=pm

User-agent: Yandex
Disallow: /engine/go.php
 Disallow: /engine/download.php
 Disallow: /user/
 Disallow: /newposts/
 Disallow: /statistics.html
 Disallow: /*subaction=userinfo
 Disallow: /*subaction=newposts
 Disallow: /*do=lastcomments
 Disallow: /*do=feedback
 Disallow: /*do=register
 Disallow: /*do=lostpassword
 Disallow: /*do=addnews
 Disallow: /*do=stats
 Disallow: /*do=pm

Host: Ваш хост

 User-agent: Google
Disallow: /engine/go.php
 Disallow: /engine/download.php
 Disallow: /user/
 Disallow: /newposts/
 Disallow: /statistics.html
 Disallow: /*subaction=userinfo
 Disallow: /*subaction=newposts
 Disallow: /*do=lastcomments
 Disallow: /*do=feedback
 Disallow: /*do=register
 Disallow: /*do=lostpassword
 Disallow: /*do=addnews
 Disallow: /*do=stats
 Disallow: /*do=pm

это файл /robots.txt

для роботс важно то, что указано в начале. это уже говорил яндекс не однократно.