Robots.txt

serguei serguei   07.04.2014 21:21   1 757  
Ребят кто что скажет по поводу правильности robots.txt

User-agent: *
Disallow: /admin
Disallow: /click
Disallow: /delete
Disallow: /edit
Disallow: /export
Disallow: /files/
Disallow: /found
Disallow: /help
Disallow: /i/
Disallow: /img/
Disallow: /in
Disallow: /login
Disallow: /messages
Disallow: /misc
Disallow: /moderate
Disallow: /newstats
Disallow: /online
Disallow: /partner
Disallow: /poll
Disallow: /positive
Disallow: /post
Disallow: /profile
Disallow: /register
Disallow: /relation
Disallow: /respect
Disallow: /restore
Disallow: /rss
Disallow: /send
Disallow: /stat
Disallow: /style
Disallow: /uploads/
Disallow: /userlist
Disallow: /vote
Sitemap: http://****.***/sitemap.xml
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://****.***/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: /
User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://*.*/sitemap.xml
Clean-param: invite /
Clean-param: action&pid /viewtopic.php
Crawl-delay: 0.1
Host: ****.***
User-agent: YandexImages
Allow: /img/avatars/
Allow: /uploads/
Disallow: /
User-agent: YandexBlogs
Allow: /export.php?type=rss
Disallow: /

почему то ругается что роботс закрыт для гугла... как проверить? вроде все открыто для него

Ответы на вопрос (3) Написать ответ
Kuasar Kuasar   07.04.2014 21:26
Гугловый бот не понимает Allow, т.к. такой опции нет в стандарте :)
Allow понимает только бот Яндекса.
Для него конструкция:
User-agent: Googlebot

Allow: /$

Allow: /pages/

Allow: /search.php?action=show_24h

Allow: /sitemap.xml$

Allow: /viewforum.php?id=

Allow: /viewtopic.php?id=

Disallow: /
Превращается просто в:
User-agent: Googlebot

Disallow: /
0
serguei serguei   08.04.2014 18:03
так как ему лучше прописать?
0
Kuasar Kuasar   09.04.2014 15:05
Оставьте только ту часть, что для User-agent: *
0

Войдите, чтобы написать ответ
Вход Регистрация

Самая большая база ключей ваших конкурентов. Создавай эффективные сайты, используя лучшую базу в рунете!