robots.txt

Question

robots.txt

у меня на сайте небыло файла robots.txt
хватит ли одной записи в нем?:
User-agent: *
Sitemap: http://мой_сайт.ru/sitemap.xml

0

robots.txt

Ответы на пост (6) Написать ответ

Быстрая регистрация для ответа Войти

Answer 1

Todd71

14

06.09.2012 18:40

Сайт на Dle

0

Answer 2

74ivan74

472

06.09.2012 18:43

этого мало, будет много дублей и лишнего в выдаче

0

Answer 3

74ivan74

472

06.09.2012 18:44

поставьте хотя бы тот, что по умолчанию в движке

0

Answer 4

Средне статистический...
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Sitemap: http://url/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /backupurl.php
Disallow: /admin.php
Disallow: /language/
Disallow: /templates/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /statistics.html
Disallow: /index.php
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /engine/images.php?area=
Host: url
Sitemap: http://url/sitemap.xml

Answer 5

delete567567

1486

06.09.2012 19:16

url ---- ваш сайт

0

Answer 6

delete567567

1486

06.09.2012 19:16

* Disallow: /2012/

0

robots.txt

Похожие посты

Анализ сайта