Как правильно создать robots.txt для wp?

Question

Как правильно создать robots.txt для wp?

Здравствуйте. В Гугл серч консоле выдаёт ошибку и при проверке страницы робот криво сайт видит. Если убираю все запреты с роботс, то всё норм. Вот так сейчас роботс.

User-agent: *
Allow:/*

Disallow: /?s=*
Disallow: /?p=*
Disallow: /cgi-*
Disallow: */rss
Disallow: */amp
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.js
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/themes/ifeaturepr

0

Ответы на пост (5) Написать ответ

Быстрая регистрация для ответа Войти

Answer 1

Alexander Tevs

18

10.10.2019 00:07

Может строчка с amp не нравится?

0

Answer 2

Пустых строк не должно быть. Вот это - alow:/* - из области бреда. Зачем нужен роботс, если этим правилом разрешается все?

User-agent: Googlebot
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /*?*
Disallow: /?p=*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /*?*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google
Disallow:
Allow: /*

Answer 3

а в этом случае он не будет индексировать картинки? Я перед этим убрал запрет с них. И в поиске проиндексировались штук 100 картинок .jpg как отдельные страницы.

Answer 4

чем вам стандартный роботс не устраивает? первым правилом allow: /* вы прописали разрешить индексировать все и следующие дисалоу по идее не работают.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */*/feed/*/
Disallow: *?*
Disallow: /author/*
Disallow: /xmlrpc.php
Disallow: /*utm_
Disallow: /*_openstat
Disallow: /*gclid=

а далее свои allow можете добавить, кроме темы - незачем ее открывать.

Answer 5

russpuss

118

10.10.2019 09:29

ок буду пробовать

0

Как правильно создать robots.txt для wp?

Похожие посты

Анализ сайта