SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Robots.txt для wp

Иван Михайлович Иван Михайлович  
39
  03.08.2019 11:56       764    

Как выглядит правильный robots.txt для нового сайта на wp


Ответы на пост (7) Написать ответ
ChengeRU ChengeRU
33
03.08.2019 13:09
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
0
Решение
vituson vituson
2363
03.08.2019 13:57
1. Директиву Host не понимает ни один поисковый робот.
2. Вот это - Disallow: /*?* можно включать, если на сайте включено ЧПУ, а не короткие урлы (надо знать, как настроено у ТС, иначе будет неиндексация страниц).
3. Правило сайтмап отделяется пустой строкой от остальных правил. Два одинаковых блока для разных ПС не нужны.
4. Гугл может попросить "открыть" папку wp-includes.
5. Составитель роботса из вас так себе.
5
ChengeRU ChengeRU
33
03.08.2019 13:59
Ну раз такой умный, скидывайте свой вариант
0
vituson vituson
2363
03.08.2019 14:18
Некогда - разрываюсь: к умным или к красивым.
1
minsky minsky
405
03.08.2019 18:28
Robots.txt как бы каждый под себя настраивает, как ему нужно. У меня вот к примеру такой
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018
Disallow: /2019

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018
Disallow: /2019

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
0
anotcher anotcher
39
03.08.2019 19:59
Использую такой
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /video
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img
Disallow: /post-meta/
Disallow: /xmlrpc.php
Disallow: /404.php
Disallow: /karta-sajta
Disallow: /obratnaya-svyaz
Disallow: /wp-json

Host:    https://site.ru
Sitemap: https://site.ru/sitemap.xml
0
russpuss russpuss
118
04.08.2019 09:42
Советую после добавления выбранного Вами robots.txt заглянуть в search console, отправить этот роботс потом пойти проверить страницы сайта заново как из видит гугл бот, в особенности мобильную версию сайта. Если будут проблемы с мобильной версией, советую посмотреть что не так и исправить, ибо могут позиции просесть.
0