robots.txt

Todd71 Todd71   06.09.2012 18:40   632  
у меня на сайте небыло файла robots.txt 
хватит ли одной записи в нем?:
    User-agent: *
Sitemap: http://мой_сайт.ru/sitemap.xml

Ответы на вопрос (6) Написать ответ
Todd71 Todd71   06.09.2012 18:40
Сайт на Dle
0
74ivan74 74ivan74   06.09.2012 18:43
этого мало, будет много дублей и лишнего в выдаче
0
74ivan74 74ivan74   06.09.2012 18:44
поставьте хотя бы тот, что по умолчанию в движке
0
Garant_deals_site Garant_deals_site   06.09.2012 19:15
Средне статистический...
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Sitemap: http://url/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Host: url
Sitemap: http://url/sitemap.xml
0
Garant_deals_site Garant_deals_site   06.09.2012 19:16
url ---- ваш сайт
0
Garant_deals_site Garant_deals_site   06.09.2012 19:16
* Disallow: /2012/
0

Войдите, чтобы написать ответ
Вход Регистрация

Pozvonim.com - Мы увеличим продажи на вашем сайте на 75% без дополнительных затрат! Не верите? Держите бонус 1000р