Как запретить индексить страницы сайта?

naikom naikom   02.04.2011 11:10   424  
Всем привет!

..Основной блог у меня в директории /blog
Но я насоздавал в своё время всяких директорий для тестовых сайтов, например, /shop, /pics

Так вот недавно я решил избавится от этого хлама и всё постирал

Потом заметил, что в Яндексе очень упали поисковые запросы

Зашёл на вебмастер и увидел кууучу замечаний,

примерно это :

Формат документа не поддерживается
/pics/?feed=rss2&p=113
/pics/?feed=rss2&p=119
/pics/?feed=rss2&p=12
,,,


ошибка 404
/blog/archives/category/дизайн/page/6
/blog/archives/category/дизайн/page/7
/blog/archives/category/дизайн/page/9
,,,
при этом все эти страницы работают, и я на них спокойно перехожу прямо из вебмастера

и, наконец, HTTP-статус: Доступ к ресурсу запрещён (403)

/pics/?cat=1
/pics/?cat=13
/pics/?cat=16

Создал даже robots.txt в корневой директории и там прописал

Disallow: /pics
Disallow: /shop

но както толку нет (поисковый робот был вчера а замечания всё те же)


Как бы мне сделать так, чтобы замечаний от Яндекса вообще не было(ну или минимум)?

Ответы на вопрос (11) Написать ответ
mav123 mav123   02.04.2011 12:23
robots.txt хоть правильный?
Что кроме этих двух строчек там есть?
robots.txt - отлично работает. Если не работает - значит сделан не правильно.
Нужно в первую очередь читать об использовании robots.txt. И обязательно - всю справку, а не только первую часть.
0
naikom naikom   02.04.2011 12:35
вот мой роботс http://naikom.ru/robots.txt
лежит он в public_html
а блог лежит в public_html/blog
0
Решение
mav123 mav123   02.04.2011 14:04
Host прописывается без http - либо сайт.ру, либо ввв.сайт.ру - смотря какой вариант главное зеркало.
Дальше копаться пока нет времени, но что-то меня смущает в поддиректории blog и описании в robots.txt путей к корню. Если работаем через robots с поддиректорией, то думаю нужно не забывать её в robots
0
naikom naikom   02.04.2011 15:08
зачем? по идее когда мы прописываем Disallow: /pics - это значит что запрещён просмотр ко всему содержимому папки /pics - и вобщем-то не важно где она находится - робот сам разберётся?
0
mav123 mav123   02.04.2011 15:15
Папка pics где лежит фактически сейчас? В корне или blog/pics?
Если бы робот сам во всём разбирался, то не нужно было бы использовать правила.
0
naikom naikom   02.04.2011 15:39
файл роботс ежит в public_html

папки pics и blog тоже лежат в public_html ..
0
mav123 mav123   02.04.2011 15:45
ну и всё нормально, запрет работает, на замечания можно уже забить.
0
naikom naikom   02.04.2011 16:56
просто после того как я сделал такой роботс и по сайту прош>лся робот яндекса - ничего не поменялось и количество замечаний осталось прежним..
0
mav123 mav123   02.04.2011 17:42
Нужно исключить из индекса лишнее или любоваться отсутствием замечаний в панели?
Замечания были, есть и будут. Не надо паниковать и ждать сиюминутного изменения.
0
Svobodniu Svobodniu   03.04.2011 14:05
Хэлло! Дело в том, что изменения в robots.txt вступают в силу далеко не сразу!
А с robots у тебя все в порядке, только не понятно зачем прописал User-agent: YandexBlog если ему все и так разрешено...
2
naikom naikom   04.04.2011 12:12
да хз просто читал статьи и там рекомендуют во многих)
0

Войдите, чтобы написать ответ
Вход Регистрация

Антикризисное продвижение! Продвижение от 10 рублей за слово