SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

robot.txt и WodPress

becdelbnik becdelbnik  
39
  26.06.2012 13:42       921    
Всем здрасте!

Ребят, гляньте, правильный ли robot.txt ?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: сайт.ру
Sitemap: http://сайт.ру/sitemap.xml

Ответы на пост (6) Написать ответ
UnFeeLing UnFeeLing
219
26.06.2012 13:48
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
0
becdelbnik becdelbnik
39
26.06.2012 13:57
СпасибО!

Есть еще мнения? 1 или 2 ?
0
antoxa29023 antoxa29023
0
26.06.2012 16:19
2
0
becdelbnik becdelbnik
39
26.06.2012 17:20
Спасибо ВСЕМ за ответы!!!!!
0
kkkkk kkkkk
21
26.06.2012 20:24
Вообще-то "User-agent: Yandex" писать не обязательно, достаточно "User-agent: *"

Пример:

User-agent: YandexBot # будет использоваться только основным индексирующим роботом
Disallow: /*id=

User-agent: Yandex # будет использована всеми роботами Яндекса
Disallow: /*sid= # кроме основного индексирующего

User-agent: * # не будет использована роботами Яндекса
Disallow: /cgi-bin
0
kkkkk kkkkk
21
26.06.2012 20:25
Так-как "User-agent: Yandex" не запрещает основному боту индексацию
0