Robots.txt для wp

Иван Михайлович Иван Михайлович   03.08.2019 11:56   365  

Как выглядит правильный robots.txt для нового сайта на wp


Ответы на вопрос (7) Написать ответ
ChengeRU ChengeRU   03.08.2019 13:09
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml
0
Решение
vituson vituson   03.08.2019 13:57
1. Директиву Host не понимает ни один поисковый робот.
2. Вот это - Disallow: /*?* можно включать, если на сайте включено ЧПУ, а не короткие урлы (надо знать, как настроено у ТС, иначе будет неиндексация страниц).
3. Правило сайтмап отделяется пустой строкой от остальных правил. Два одинаковых блока для разных ПС не нужны.
4. Гугл может попросить "открыть" папку wp-includes.
5. Составитель роботса из вас так себе.
5
ChengeRU ChengeRU   03.08.2019 13:59
Ну раз такой умный, скидывайте свой вариант
0
vituson vituson   03.08.2019 14:18
Некогда - разрываюсь: к умным или к красивым.
1
minsky minsky   03.08.2019 18:28
Robots.txt как бы каждый под себя настраивает, как ему нужно. У меня вот к примеру такой
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018
Disallow: /2019

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page/*
Disallow: /author
Disallow: /2018
Disallow: /2019

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
0
anotcher anotcher   03.08.2019 19:59
Использую такой
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /video
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img
Disallow: /post-meta/
Disallow: /xmlrpc.php
Disallow: /404.php
Disallow: /karta-sajta
Disallow: /obratnaya-svyaz
Disallow: /wp-json

Host:    https://site.ru
Sitemap: https://site.ru/sitemap.xml
0
russpuss russpuss   04.08.2019 09:42
Советую после добавления выбранного Вами robots.txt заглянуть в search console, отправить этот роботс потом пойти проверить страницы сайта заново как из видит гугл бот, в особенности мобильную версию сайта. Если будут проблемы с мобильной версией, советую посмотреть что не так и исправить, ибо могут позиции просесть.
0

Войдите, чтобы написать ответ
Вход Регистрация

Pozvonim.com - Мы увеличим продажи на вашем сайте на 75% без дополнительных затрат! Не верите? Держите бонус 1000р