SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Пдскажите про robots.txt

sanek92 sanek92  
59
  04.10.2011 21:37       2 337    
Что нужно добавит или убрать из файла

User-agent: *
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /tags/
Disallow: /page/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html

Host: underground-rap.ru

Sitemap: http://underground-rap.ru/sitemap.xml

Ответы на пост (8) Написать ответ
miskastar miskastar
148
04.10.2011 23:42
/admin.php убрать и переименовать админку (элементарное требование безопасности).
/?do=lastcomments можно и не закрывать. Формально, страница в любом случае будет отличаться от страницы любой новости с комментариями.
1
Решение
sanek92 sanek92
59
04.10.2011 21:38
забыл,сайт на DLE
1
bryanskij bryanskij
277
04.10.2011 22:10
был бы сайт на wordpress - легко бы своим роботом поделился...
0
azos azos
166
04.10.2011 23:56
ну стандартный робот на дле, если сайт на сапе или других биржах то советую добавить ети папки на хостинге в робот
0
fioru fioru
161
05.10.2011 00:16
Папку upgrade удаляют с хоста как и install.php, так что удаляй и строку
1
sanek92 sanek92
59
05.10.2011 01:14
а как насчет тегов?
0
krava11111 krava11111
49
05.10.2011 09:05
закрой на всякий случай
0
Julev Julev
42
05.10.2011 06:25
если будешь продавать ссылки в sape то лучше закрыть теги, иначе под АГС можешь попасть. А для трафика мнение двоякое, у меня лично открыта индексация тегов.
0