Пдскажите про robots.txt

sanek92 sanek92   04.10.2011 21:37   905  
Что нужно добавит или убрать из файла

User-agent: *
Disallow: /backup/
Disallow: /user/
Disallow: /engine/
Disallow: /language/
Disallow: /upgrade/
Disallow: /tags/
Disallow: /page/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html

Host: underground-rap.ru

Sitemap: http://underground-rap.ru/sitemap.xml

Ответы на вопрос (8) Написать ответ
miskastar miskastar   04.10.2011 23:42
/admin.php убрать и переименовать админку (элементарное требование безопасности).
/?do=lastcomments можно и не закрывать. Формально, страница в любом случае будет отличаться от страницы любой новости с комментариями.
1
Решение
sanek92 sanek92   04.10.2011 21:38
забыл,сайт на DLE
1
bryanskij bryanskij   04.10.2011 22:10
был бы сайт на wordpress - легко бы своим роботом поделился...
0
azos azos   04.10.2011 23:56
ну стандартный робот на дле, если сайт на сапе или других биржах то советую добавить ети папки на хостинге в робот
0
fioru fioru   05.10.2011 00:16
Папку upgrade удаляют с хоста как и install.php, так что удаляй и строку
1
sanek92 sanek92   05.10.2011 01:14
а как насчет тегов?
0
krava11111 krava11111   05.10.2011 09:05
закрой на всякий случай
0
Julev Julev   05.10.2011 06:25
если будешь продавать ссылки в sape то лучше закрыть теги, иначе под АГС можешь попасть. А для трафика мнение двоякое, у меня лично открыта индексация тегов.
0

Войдите, чтобы написать ответ
Вход Регистрация

PRposting.com - продвижение статьями под БУРЖ и СНГ. PBN и Outreach сайты. 0 комиссии, 5% реферальских