Robots.txt

shekel shekel   05.03.2013 05:14   350  
Всем привет! Опять вынужден просить у вас помощи.
Сегодня залил на хостинг свой первый HTML-сайт. Панель управления вижу впервые, а названия некоторых папок мне даже в страшном сне не снились. Но вроде бы разобрался, и сайт, хоть и со скрипом, но заработал.
Остался только один момент - правильно создать файл "robots.txt" и указать в нем закрытые для индексации папки/разделы и прочие ненужные файлы. Верно? 
Я так понимаю, что поисковые роботы имеют доступ только к тем файлам, которые находятся в паке www, а всё, что расположено за ее предела - это служебные файлы, которые не нужно упоминать в robots. Или я неправильно понял?
И еще: для googlebot обязательно указывать директиву "Host: site.ru"? Или ему все равно?
Заранее благодарен за помощь.






Ответы на вопрос (3) Написать ответ
dan95 dan95   05.03.2013 06:41
Вы все перепутали. "Host: site.ru" указывается для Яндекса (ссылка). Судя по всему у вас в папке www и находятся все нужные файлы сайта, т.к. у вас на хостинге наверное апач(это не гуглите пока, это для общего развития).
0
Решение
dan95 dan95   05.03.2013 06:42
Но если у вас HTML сайт, то думаю вам кроме host ничего указывать не нужно.
0
sanchofe sanchofe   05.03.2013 08:02
Самый простой:
User-agent: *Disallow:Host: site.ruSitemap: http://site.ru/sitemap.xml
0

Войдите, чтобы написать ответ
Вход Регистрация

Медленные сайты убивают! Закажи быстрый хостинг на CloudLinux и SSD-дисках. Более 15 стран для размещения вашего сайта.