Как запретить индексить страницы сайта?
Всем привет!
..Основной блог у меня в директории /blog
Но я насоздавал в своё время всяких директорий для тестовых сайтов, например, /shop, /pics
Так вот недавно я решил избавится от этого хлама и всё постирал
Потом заметил, что в Яндексе очень упали поисковые запросы
Зашёл на вебмастер и увидел кууучу замечаний,
примерно это :
Формат документа не поддерживается
/pics/?feed=rss2&p=113
/pics/?feed=rss2&p=119
/pics/?feed=rss2&p=12
,,,
ошибка 404
/blog/archives/category/дизайн/page/6
/blog/archives/category/дизайн/page/7
/blog/archives/category/дизайн/page/9
,,,
при этом все эти страницы работают, и я на них спокойно перехожу прямо из вебмастера
и, наконец, HTTP-статус: Доступ к ресурсу запрещён (403)
/pics/?cat=1
/pics/?cat=13
/pics/?cat=16
Создал даже robots.txt в корневой директории и там прописал
Disallow: /pics
Disallow: /shop
но както толку нет (поисковый робот был вчера а замечания всё те же)
Как бы мне сделать так, чтобы замечаний от Яндекса вообще не было(ну или минимум)?
лежит он в public_html
а блог лежит в public_html/blog
Дальше копаться пока нет времени, но что-то меня смущает в поддиректории blog и описании в robots.txt путей к корню. Если работаем через robots с поддиректорией, то думаю нужно не забывать её в robots
Что кроме этих двух строчек там есть?
robots.txt - отлично работает. Если не работает - значит сделан не правильно.
Нужно в первую очередь читать об использовании robots.txt. И обязательно - всю справку, а не только первую часть.
Если бы робот сам во всём разбирался, то не нужно было бы использовать правила.
папки pics и blog тоже лежат в public_html ..
Замечания были, есть и будут. Не надо паниковать и ждать сиюминутного изменения.
А с robots у тебя все в порядке, только не понятно зачем прописал User-agent: YandexBlog если ему все и так разрешено...