Robots.txt
Ребят кто что скажет по поводу правильности robots.txt
User-agent: *
Disallow: /admin
Disallow: /click
Disallow: /delete
Disallow: /edit
Disallow: /export
Disallow: /files/
Disallow: /found
Disallow: /help
Disallow: /i/
Disallow: /img/
Disallow: /in
Disallow: /login
Disallow: /messages
Disallow: /misc
Disallow: /moderate
Disallow: /newstats
Disallow: /online
Disallow: /partner
Disallow: /poll
Disallow: /positive
Disallow: /post
Disallow: /profile
Disallow: /register
Disallow: /relation
Disallow: /respect
Disallow: /restore
Disallow: /rss
Disallow: /send
Disallow: /stat
Disallow: /style
Disallow: /uploads/
Disallow: /userlist
Disallow: /vote
Sitemap: http://****.***/sitemap.xml
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://****.***/sitemap.xml
User-agent: Googlebot-Image
Allow: /img/avatars/
Allow: /uploads/
Disallow: /
User-agent: YandexBot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Sitemap: http://*.*/sitemap.xml
Clean-param: invite /
Clean-param: action&pid /viewtopic.php
Crawl-delay: 0.1
Host: ****.***
User-agent: YandexImages
Allow: /img/avatars/
Allow: /uploads/
Disallow: /
User-agent: YandexBlogs
Allow: /export.php?type=rss
Disallow: /
почему то ругается что роботс закрыт для гугла... как проверить? вроде все открыто для него
Allow понимает только бот Яндекса.
Для него конструкция:
User-agent: Googlebot
Allow: /$
Allow: /pages/
Allow: /search.php?action=show_24h
Allow: /sitemap.xml$
Allow: /viewforum.php?id=
Allow: /viewtopic.php?id=
Disallow: /
Превращается просто в:
User-agent: Googlebot
Disallow: /