SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Помогите составить правильный robots.txt dle 9.8

Помогите составить правильный robots.txt dle 9.8

onlineruserials onlineruserials  
3
  30.03.2013 14:11       1 873    
Сейчас такой  

User-agent: *Disallow: /engine/go.phpDisallow: /engine/download.phpDisallow: /user/Disallow: /newposts/Disallow: /statistics.htmlDisallow: /*subaction=userinfoDisallow: /*subaction=newpostsDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerDisallow: /*do=lostpasswordDisallow: /*do=addnewsDisallow: /*do=statsDisallow: /*do=pm
2

Ответы на пост (13) Написать ответ
Быстрая регистрация для ответа Войти
MrBest MrBest
210
30.03.2013 14:18
Внизу стоит добавить строчки для карты сайта и основного зеркала (с www или без www):
Sitemap: http://www.ваш-сайт.ru/sitemap.xml
 Host: www.ваш-сайт.ru
0
Решение
MrBest MrBest
210
30.03.2013 14:21 
User-agent: *
 Disallow: /*print
 Disallow: /user/
 Disallow: /backup/
 Disallow: /engine/
 Disallow: /language/
 Disallow: /templates/
 Disallow: /upgrade/
 Disallow: /uploads/
 Disallow: /autobackup.php
 Disallow: /admin.php
 Disallow: /index.php?do=addnews
 Disallow: /index.php?do=feedback
 Disallow: /index.php?do=lostpassword
 Disallow: /index.php?do=pm
 Disallow: /index.php?do=stats
 Disallow: /index.php?do=search
 Disallow: /index.php?subaction=newposts
 Disallow: /?do=lastcomments
 Disallow: /statistics.html
 Disallow: /engine/dude/index/leech_out.php
 Disallow: /engine/dude/cfg/leech_teaser.html

 Sitemap: http://music-sbornik.ru/sitemap.xml 
 Host: music-sbornik.ru

 на моем сайте вот так выглядит (тож DLE)
0
SiegKlas SiegKlas
111
30.03.2013 15:05
А зачем uploads запрещать?
Тогда же картинки индексироваться не будут.
0
MrBest MrBest
210
30.03.2013 17:24
Насчет картинок - совершенно верно. Если нужно, чтобы картинки индексировались - просто удалите строчку Disallow: /uploads/. Все дело в участившихся случаях взлома DLE с помощью аватарки, поэтому я престраховался и закрыл от индексации эту часть. Чтобы робот мало ли не увидел вредоносную картинку... За всеми пользователями не уследить
0
onlineruserials onlineruserials
3
30.03.2013 14:11
0
cema93 cema93
317
30.03.2013 14:19
это фиговый роботс.... у меня роботс пустой, но то, что не должно быть в индексе, не пролазит. поисковик и не догадывается что такие разделы есть у меня на сайте
0
MrBest MrBest
210
30.03.2013 14:22
Можно закрывать разделы и другими способами, однако роботы видят ВСЕ... Вопрос в том, ЧТО они добавляют в индекс и чему придают значение
0
minsky minsky
405
30.03.2013 15:35
Для каждого сайта robots свой. Какой надо, такой и делай
0
cema93 cema93
317
30.03.2013 16:43
у меня роботс почти пустой.
я на сайте закрыл ссылки ведущие на разделы, которые необходимо скрыть.
и поисковик не видит ссылки на ненужные страницы
0
ubombi ubombi
1
30.03.2013 17:14
, не пролазит > это тебе кажеться ... из-за тупого Robots на государственных сайтах такая утечка информации идет...
0
buhobeh buhobeh
65
30.03.2013 15:57
User-agent: *
Disallow: /engine/
Host: last-gamer.com
Sitemap: http://last-gamer.com/sitemap.xml только ставьте свой сайт
0
bandidas bandidas
85
31.03.2013 08:05
вот вы жгете, а как же диссалов page? 2013 и т.д. ?
0
Bong Bong
29
18.07.2013 12:54
MrBest? в DLE 9.8 проблема с вредными аватарками давно решена. ))
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.