SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Q&A SEO

Провальный ли robots.txt?

farscape farscape  
69
  01.04.2017 17:13       1 315    
В вебмастере гугл ругается на sitemap, типа закрыто в роботсе, получается ругается что закрыта от индексации страница, хотя в индексе у гугла и у яндекса есть, скрин - http://f6.s.qip.ru/nhEFBVLy.png

User-agent: YandexDisallow: /cgi-bin/Disallow: /downloads/Disallow: /wp-login.phpDisallow: /wp-adminDisallow: /wp-includes/Disallow: /xmlrpc.phpDisallow: /wp-content/plugins/Disallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /wp-register.phpDisallow: /archive/Disallow: /authorDisallow: /trackbackDisallow: /feedDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: /commentsDisallow: /?feed=Disallow: */trackbackDisallow: */feedDisallow: */commentsDisallow: /tag*/Disallow: */?ap=*Disallow: /?s=Disallow: /*?*Disallow: /*?Disallow: /*page
User-agent: *Disallow: /cgi-bin/Disallow: /downloads/Disallow: /wp-login.phpDisallow: /wp-adminDisallow: /wp-includes/Disallow: /xmlrpc.phpDisallow: /wp-content/plugins/Disallow: /wp-content/cacheDisallow: /wp-content/themesDisallow: /wp-register.phpDisallow: /archive/Disallow: /authorDisallow: /trackbackDisallow: /feedDisallow: /commentsDisallow: /?feed=Disallow: */trackbackDisallow: */feedDisallow: /trackbackDisallow: */trackbackDisallow: */*/trackbackDisallow: */commentsDisallow: /tag*/Disallow: */?ap=*Disallow: /?s=Disallow: /*?*Disallow: /*?Disallow: /*pageHost: ==.ru
Sitemap: http://==.ru/sitemap.xmlSitemap: http://==.ru/sitemap.xml.gz

Ответы на пост (21) Написать ответ
farscape farscape
69
01.04.2017 20:05
В общем всем кто уделил внимание спасибо, пока удалил Disallow: /*page, пускай время пройдет, может и в вебмастере всё норм будет писать.
0
Решение
Sergexpert Sergexpert
451
01.04.2017 20:37
Ты не забывай про настройку своего сайта при помощи плагина. Там все функции ставятся под определенные нужды. Например портфолио, файлы и так далее. И еще будь по внимательнее с тем, что закрываешь от индекса.
0
Sergexpert Sergexpert
451
01.04.2017 17:36
Это не robots.txt а портянка батки МАХНО. Поэтому и ругается.
1
Sergexpert Sergexpert
451
01.04.2017 17:39
Вот как выглядит нормальный
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /?s=
Disallow: /?s

Host: https://пппппп .ru
Sitemap: https://пппппп .ru/sitemap.xml
0
farscape farscape
69
01.04.2017 17:54
А дубли и т.д?
0
Сергей Усов Сергей Усов
1
02.04.2017 00:33
А если не хочу ничего скрывать от индексации, то такой робот правильный ?
User-agent: *
Disallow:
Host: https://fresh-blog.ru
Sitemap: https://fresh-blog.ru/sitemap.xml
0
Sergexpert Sergexpert
451
01.04.2017 17:56
А это уже делается seo плагином. Один сделал в роботсе портянку и все на него смотрят и больше им не чего не нужно. А на самом деле можно все это от дуплить плагином.
0
Sergexpert Sergexpert
451
01.04.2017 17:58
А карту Вы скорее всего сами запретили Disallow: /xmlrpc.php
0
zuma307 zuma307
113
01.04.2017 19:37
Советую для общего кругозора погуглить хоть немного интернет, если конечно не лень, и почитать для чего этот файл!!!!
0
Sergexpert Sergexpert
451
01.04.2017 18:01
За 50 рублей сделаю все по уму и настрою плагин как положено. Работаю с Yoast.Предоплата 50%
0
farscape farscape
69
01.04.2017 18:44
С этим роботсом всё нормально работало, ругается только на отдельную страницу, хотя она тоже в индексе, с обычными статьями проблем нет. Удалил Disallow: /*page и ошибка исчезла, но теперь просто предупреждение что страница закрыта.
0
Petroff Petroff
698
01.04.2017 19:04
напишите нормальный роботс, построчно и страницу, на которую ругается
0
farscape farscape
69
01.04.2017 19:12
Вот скрином - http://f3.s.qip.ru/nhEFBVLA.png

А страница обычная. site.ru/страница
0
Petroff Petroff
698
01.04.2017 19:25
Ну если обычная, то лучше к экстрасенсам или сюда https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml?lang=ru
1
farscape farscape
69
01.04.2017 19:36
А как мне еще объяснить, я пример показал - site.ru/страница. есть страницы post, а есть page, вот с page и проблема.
0
Petroff Petroff
698
01.04.2017 19:43
Естественно с page проблема, т.к. она закрыта от роботов этой строкой Disallow: /*page
Другое дело это могут быть нормальные страницы типа sitename.ru/page/pro-noski, а могут быть страницы пагинации типа sitename.ru/page2
0
farscape farscape
69
01.04.2017 19:50
Я выше писал, что этот параметр удалил, ошибка исчезла, но пишет предупреждение закрыто от индексации в роботс.
0
farscape farscape
69
01.04.2017 19:54
В принципе может нужно подождать, сменил сейчас на
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/cache
Disallow: /?s=
Disallow: /?s

оно продолжает писать предупреждение
0
zuma307 zuma307
113
01.04.2017 19:55
Я думаю, что основная масса веб-мастеров пользуются инструкциями прошлого века. Побольше читайте в интернете свежей информации и головная боль исчезнет. Вот к примеру цитата из пресс-конференции Google: "Для нас файл robots.txt всего лишь рекомендация и не более...." А теперь и подумайте. У меня в файле только пару файлов закрыто, да и эти запреты перенесу в .htaccess В итоге голова не болит, претензий от Гоши и Яши нет, в индексации только те страницы, которые роботы ПС считают нужными для пользователей....
1
farscape farscape
69
01.04.2017 20:54
Хорошо, спасибо!
0
Shnapik Shnapik
4
01.04.2017 21:05
Вот такой должен быть правильный robots.txt: http://culabra.ru/pravilnyj-robots-txt-dlya-wordpress-i-primenenie-meta-tega-robots
0