SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Подскажите правильный robots.txt для wordpress

Интересное ТВ Интересное ТВ  
5
  29.11.2016 14:54       1 507    
Подскажите правильный ROBOTS.TXT для Wordpress. В сети полно вариантов но никак не могу понять какой из них правильнее. В Wordpress я новичок.

Ответы на пост (3) Написать ответ
Многие не понятно зачем пишут отдельно для яндекса одинаковый. У меня стоит так и все нормально без дублей.

User-agent: *
Host: site.ru
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /?p=
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /tag
Disallow: /archive
Disallow: */trackback
Disallow: */comments
Disallow: */trackback/
Disallow: */feed/
Disallow: /feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /pics/
Disallow: /wp-json/

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml
0
Интересное ТВ Интересное ТВ
5
29.11.2016 19:58
Вопросик ещё...XML sitemap отсутствует, точнее он в другом формате. Его можно так прописать или обязательно в XML создать нужно? Спасибо заранее:)
0
w3bank w3bank
91
29.11.2016 16:45
Для гугла чтобы заблокировать каталог нужно ставить косую черту после ее адреса.
Например Disallow: /wp-admin/

https://support.google.com/webmasters/answer/6062596
0