Как правильно создать robots.txt для wp?

russpuss russpuss   6 дней назад в 22:42   254  

Здравствуйте. В Гугл серч консоле выдаёт ошибку и при проверке страницы робот криво сайт видит. Если убираю все запреты с роботс, то всё норм. Вот так сейчас роботс.

User-agent: *
Allow:/*

Disallow: /?s=*
Disallow: /?p=*
Disallow: /cgi-*
Disallow: */rss
Disallow: */amp
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: /wp-login.php
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.js
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/themes/ifeaturepr



Ответы на вопрос (5) Написать ответ
Alexander Tevs Alexander Tevs   5 дней назад в 00:07
Может строчка с amp не нравится?
0
vituson vituson   5 дней назад в 05:05
Пустых строк не должно быть. Вот это - alow:/* - из области бреда. Зачем нужен роботс, если этим правилом разрешается все?
User-agent: Googlebot
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /*?*
Disallow: /?p=*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /comments
Disallow: /index.php?s=
Disallow: /*?*
Disallow: /*?replytocom
Disallow: /tag/
Disallow: /page/
Disallow: /201*/
Disallow: /author

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google
Disallow:
Allow: /*
0
russpuss russpuss   5 дней назад в 08:48
а в этом случае он не будет индексировать картинки? Я перед этим убрал запрет с них. И в поиске проиндексировались штук 100 картинок .jpg как отдельные страницы. 
0
rohanaro rohanaro   5 дней назад в 08:28
чем вам стандартный роботс не устраивает? первым правилом allow: /* вы прописали разрешить индексировать все и следующие дисалоу по идее не работают.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */*/feed/*/
Disallow: *?*
Disallow: /author/*
Disallow: /xmlrpc.php
Disallow: /*utm_
Disallow: /*_openstat
Disallow: /*gclid=
а далее свои allow можете добавить, кроме темы - незачем ее открывать.
0
russpuss russpuss   5 дней назад в 09:29
ок буду пробовать 
0

Войдите, чтобы написать ответ
Вход Регистрация

Pozvonim.com - Мы увеличим продажи на вашем сайте на 75% без дополнительных затрат! Не верите? Держите бонус 1000р