Провальный ли robots.txt?

farscape farscape   01.04.2017 17:13   663  
В вебмастере гугл ругается на sitemap, типа закрыто в роботсе, получается ругается что закрыта от индексации страница, хотя в индексе у гугла и у яндекса есть, скрин - http://f6.s.qip.ru/nhEFBVLy.png

User-agent: YandexDisallow: /cgi-bin/Disallow: /downloads/Disallow: /wp-login.phpDisallow: /wp-adminDisallow: /wp-includes/Disallow: /xmlrpc.phpDisallow: /wp-content/plugins/Disallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /wp-register.phpDisallow: /archive/Disallow: /authorDisallow: /trackbackDisallow: /feedDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: /commentsDisallow: /?feed=Disallow: */trackbackDisallow: */feedDisallow: */commentsDisallow: /tag*/Disallow: */?ap=*Disallow: /?s=Disallow: /*?*Disallow: /*?Disallow: /*page
User-agent: *Disallow: /cgi-bin/Disallow: /downloads/Disallow: /wp-login.phpDisallow: /wp-adminDisallow: /wp-includes/Disallow: /xmlrpc.phpDisallow: /wp-content/plugins/Disallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /wp-register.phpDisallow: /archive/Disallow: /authorDisallow: /trackbackDisallow: /feedDisallow: /commentsDisallow: /?feed=Disallow: */trackbackDisallow: */feedDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */commentsDisallow: /tag*/Disallow: */?ap=*Disallow: /?s=Disallow: /*?*Disallow: /*?Disallow: /*pageHost: ==.ru
Sitemap: http://==.ru/sitemap.xmlSitemap: http://==.ru/sitemap.xml.gz
0
farscape
0
farscape   01.04.2017 20:05
В общем всем кто уделил внимание спасибо, пока удалил Disallow: /*page, пускай время пройдет, может и в вебмастере всё норм будет писать.
Решение
farscape
Sergexpert   01.04.2017 20:37  
Ты не забывай про настройку своего сайта при помощи плагина. Там все функции ставятся под определенные нужды. Например портфолио, файлы и так далее. И еще будь по внимательнее с тем, что закрываешь от индекса.
Sergexpert
1
Sergexpert   01.04.2017 17:36
Это не robots.txt а портянка батки МАХНО. Поэтому и ругается.
Sergexpert
0
Sergexpert   01.04.2017 17:39
Вот как выглядит нормальный
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /?s=
Disallow: /?s

Host: https://пппппп .ru
Sitemap: https://пппппп .ru/sitemap.xml
Sergexpert
farscape   01.04.2017 17:54  
А дубли и т.д?
Sergexpert
Сергей Усов   02.04.2017 00:33  
А если не хочу ничего скрывать от индексации, то такой робот правильный ?
User-agent: *
Disallow:
Host: https://fresh-blog.ru
Sitemap: https://fresh-blog.ru/sitemap.xml
Sergexpert
0
Sergexpert   01.04.2017 17:56
А это уже делается seo плагином. Один сделал в роботсе портянку и все на него смотрят и больше им не чего не нужно. А на самом деле можно все это от дуплить плагином.
Sergexpert
0
Sergexpert   01.04.2017 17:58
А карту Вы скорее всего сами запретили Disallow: /xmlrpc.php
Sergexpert
zuma307   01.04.2017 19:37  
Советую для общего кругозора погуглить хоть немного интернет, если конечно не лень, и почитать для чего этот файл!!!!
Sergexpert
0
Sergexpert   01.04.2017 18:01
За 50 рублей сделаю все по уму и настрою плагин как положено. Работаю с Yoast.Предоплата 50%
farscape
0
farscape   01.04.2017 18:44
С этим роботсом всё нормально работало, ругается только на отдельную страницу, хотя она тоже в индексе, с обычными статьями проблем нет. Удалил Disallow: /*page и ошибка исчезла, но теперь просто предупреждение что страница закрыта.
farscape
Petroff   01.04.2017 19:04  
напишите нормальный роботс, построчно и страницу, на которую ругается
farscape
0
farscape   01.04.2017 19:12
Вот скрином - http://f3.s.qip.ru/nhEFBVLA.png

А страница обычная. site.ru/страница
Petroff
1
Petroff   01.04.2017 19:25
Ну если обычная, то лучше к экстрасенсам или сюда https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
farscape
0
farscape   01.04.2017 19:36
А как мне еще объяснить, я пример показал - site.ru/страница. есть страницы post, а есть page, вот с page и проблема.
farscape
Petroff   01.04.2017 19:43  
Естественно с page проблема, т.к. она закрыта от роботов этой строкой Disallow: /*page
Другое дело это могут быть нормальные страницы типа sitename.ru/page/pro-noski, а могут быть страницы пагинации типа sitename.ru/page2
farscape
0
farscape   01.04.2017 19:50
Я выше писал, что этот параметр удалил, ошибка исчезла, но пишет предупреждение закрыто от индексации в роботс.
farscape
0
farscape   01.04.2017 19:54
В принципе может нужно подождать, сменил сейчас на
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /?s=
Disallow: /?s

оно продолжает писать предупреждение
zuma307
1
zuma307   01.04.2017 19:55
Я думаю, что основная масса веб-мастеров пользуются инструкциями прошлого века. Побольше читайте в интернете свежей информации и головная боль исчезнет. Вот к примеру цитата из пресс-конференции Google: "Для нас файл robots.txt всего лишь рекомендация и не более...." А теперь и подумайте. У меня в файле только пару файлов закрыто, да и эти запреты перенесу в .htaccess В итоге голова не болит, претензий от Гоши и Яши нет, в индексации только те страницы, которые роботы ПС считают нужными для пользователей....
farscape
0
farscape   01.04.2017 20:54
Хорошо, спасибо!
Shnapik
0
Shnapik   01.04.2017 21:05
Вот такой должен быть правильный robots.txt: http://culabra.ru/pravilnyj-robots-txt-dlya-wordpress-i-primenenie-meta-tega-robots

Войдите, чтобы написать ответ
Вход Регистрация



Безопасная сделка всего за 5%