Почему гугл выводит странички в поиске заблокированные в roboots.txt?

akipper akipper   23.02.2015 15:47   1 126  
Почему гугл выводит странички в поиске заблокированные в roboots.txt? 

При нажатие на это: 
Мы скрыли некоторые результаты, которые очень похожи на уже представленные выше (67).

Вылазит список заблокированных моих страниц, с пометкой Описание веб-страницы недоступно из-за ограничений в файле robots.txt

Так почему он их выводит если я вообще не желаю их видеть в поисковике? как бороться?

Ответы на вопрос (12) Написать ответ
alexhest alexhest   23.02.2015 16:44
как именно в robots.txt прописаны эти страницы ?
0
akipper akipper   23.02.2015 16:55
Disallow: /*do=users&op=moderators*

например так
0
alexhest alexhest   23.02.2015 17:15
в соответствии с доками Google (https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt) символы /* являются аналогом символа /, то есть корня сайта. вероятно, у меня в url содержится еще index.php, который вы и хотели звездочкой закрыть, но так это работать не будет.
0
alexhest alexhest   23.02.2015 17:16
*у вас в url содержится
0
rohanaro rohanaro   23.02.2015 17:40
робот google индексирует все страницы, а после этого уже выводит в поиск только те которые не запрещены в файле robot.txt ///

"Вылазит список заблокированных моих страниц, с пометкой Описание веб-страницы недоступно из-за ограничений в файле robots.txt" - это нормально - скрытые страницы не выводятся в поиске.
0
rohanaro rohanaro   23.02.2015 17:43
Disallow: /*do=users&op=moderators*
это правильный адрес, можете проверить в яндекс вебмастере https://webmaster.yandex.ru/robots.xml
0
alexhest alexhest   23.02.2015 23:13
речь о Гугле, не о Яндексе ведь. выше я кидал ссылку на гугловские доки.
0
rohanaro rohanaro   24.02.2015 07:12
без разницы о чем речь (о гугле или яндексе), алгоритм индексирования файла robot.txt обоими поисковиками одинаков, если не знаете о чем речь не надо продолжать дискуссию
0
alexhest alexhest   26.02.2015 17:00
проше прощения, я не увидел что отображает «Описание веб-страницы недоступно из-за ограничений в файле robots.txt». тогда да, все работает верно.
0
BochkaMan BochkaMan   23.02.2015 23:06
Используйте на страницах которые надо закрыть тег robots в котором укажите "noindex, nofollow". А из robots.txt их удалите и гугл не будет их индексировать.
0
akipper akipper   26.02.2015 17:18
То смысл тогда роботс? если гугл все равно в индекс добавляет страницы с пометкой заблокировано
0
BochkaMan BochkaMan   27.02.2015 08:57
Если ставить тег на эту страницу, в индексе гугла этой страницы не будет.
0

Войдите, чтобы написать ответ
Вход Регистрация

Фриланс нового поколения. Всё за 500 рублей!