SEO Сообщество: Спрашивайте и помогайте

Присоединяйтесь к сообществу профессиональных веб-мастеров PR-CY, отвечайте на вопросы коллег и задавайте свои.

Зарегистрироваться Войти
Q&A SEO
  1. Сообщество
  2. Вопросы и ответы
  3. Почему гугл выводит странички в поиске заблокированные в roboots.txt?

Почему гугл выводит странички в поиске заблокированные в roboots.txt?

akipper akipper  
0
  23.02.2015 15:47       2 722    
Почему гугл выводит странички в поиске заблокированные в roboots.txt? 

При нажатие на это: 
Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (67).

Вылазит список заблокированных моих страниц, с пометкой Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Так почему он их выводит если я вообще не желаю их видеть в поисковике? как бороться?
0

Ответы на пост (12) Написать ответ
Быстрая регистрация для ответа Войти
alexhest alexhest
0
23.02.2015 16:44
как именно в robots.txt прописаны эти страницы ?
0
akipper akipper
0
23.02.2015 16:55
Disallow: /*do=users&op=moderators*

например так
0
alexhest alexhest
0
23.02.2015 17:15
в соответствии с доками Google (https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt) символы /* являются аналогом символа /, то есть корня сайта. вероятно, у меня в url содержится еще index.php, который вы и хотели звездочкой закрыть, но так это работать не будет.
0
alexhest alexhest
0
23.02.2015 17:16
*у вас в url содержится
0
rohanaro rohanaro
99
23.02.2015 17:40
робот google индексирует все страницы, а после этого уже выводит в поиск только те которые не запрещены в файле robot.txt ///

"Вылазит список заблокированных моих страниц, с пометкой Описание веб-страницы недоступно из-за ограничений в файле robots.txt" - это нормально - скрытые страницы не выводятся в поиске.
0
rohanaro rohanaro
99
23.02.2015 17:43
Disallow: /*do=users&op=moderators*
это правильный адрес, можете проверить в яндекс вебмастере https://webmaster.yandex.ru/robots.xml
0
alexhest alexhest
0
23.02.2015 23:13
речь о Гугле, не о Яндексе ведь. выше я кидал ссылку на гугловские доки.
0
rohanaro rohanaro
99
24.02.2015 07:12
без разницы о чем речь (о гугле или яндексе), алгоритм индексирования файла robot.txt обоими поисковиками одинаков, если не знаете о чем речь не надо продолжать дискуссию
0
alexhest alexhest
0
26.02.2015 17:00
проше прощения, я не увидел что отображает «Описание веб-страницы недоступно из-за ограничений в файле robots.txt». тогда да, все работает верно.
0
BochkaMan BochkaMan
0
23.02.2015 23:06
Используйте на страницах которые надо закрыть тег robots в котором укажите "noindex, nofollow". А из robots.txt их удалите и гугл не будет их индексировать.
0
akipper akipper
0
26.02.2015 17:18
То смысл тогда роботс? если гугл все равно в индекс добавляет страницы с пометкой заблокировано
0
BochkaMan BochkaMan
0
27.02.2015 08:57
Если ставить тег на эту страницу, в индексе гугла этой страницы не будет.
0
Быстрая регистрация для ответа Войти

Похожие посты

Анализ сайта

Поможем улучшить ваш сайт.