SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Подскажите, как выглядит правильный robots txt для wordpress

Igor92-10 Igor92-10  
0
  02.08.2014 14:39       6 517    
Добрый день. Сейчас у меня стоит такой роботс на сайте:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Скажите, пожалуйста, правильно ли я его сделал? А то обычно работаю с Joomla CMS, но клиенту в этот раз понадобился сайта на WordPress.
И, соответственно, если файл настроен неверно, прошу подсказать мне, как всё-таки выглядит правильный robots txt для WordPress CMS. Спасибо, буду признателен.

Ответы на пост (8) Написать ответ
uill uill
178
02.08.2014 14:45
можно скопировать роботс у сайта в топе, вообще лучше все у них копировать, структуру, навигацию, фишки, чтобы велосипед не придумывать
0
vituson vituson
2363
02.08.2014 14:54
В принципе, верно. Если включено ЧПУ (плагин rus-to-lat и структуру ссылок "название поста), то надо включить строки с использованием знака "?".
Disallow: /*?*
Disallow: /*?
Если ЧПУ не включено, эти строки не использовать.

(где точки между строками - это пробелы)

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: */comments
Disallow: /index.php?s=
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
.
User-agent: Yandex
Crawl-delay: 5
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /comments
Disallow: */comments
Disallow: /index.php?s=
Disallow: */trackback
Disallow: /*?*
Disallow: /*?
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author
Host: site.ru
.
User-agent: Googlebot-Image
Disallow:
Allow: /*
.
User-agent: Mediapartners-Google
Disallow:
Allow: /*
.
Sitemap: http://site.ru/sitemap.xml
0
vituson vituson
2363
02.08.2014 14:58
Кстати, написал давно заметку про правильный роботс для вордпресса - http://vituson.com/optimizaciya-wordpress-kak-sostavit-pravilnyj-robots-txt/
0
makissm1986 makissm1986
30
02.08.2014 17:01
у меня такой http://mobpom.ru/robots.txt
0
Gar1k Gar1k
596
03.08.2014 15:30
ПРАВИЛЬНЫЙ РОБОТС ДЛЯ ВОРДПРЕССА:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
0
greench277 greench277
0
27.12.2014 20:41
а как запретить индексацию виджетов ?
0
Disallow: /wp-content/themes
Этого делать не нужно
0
zlobny13 zlobny13
17
27.10.2016 15:15
http://wordpresslandija.ru/robots-txt-dlya-sajta-wordpress-rekomendacii-poiskovym-sistemam.html
0