Crawl-delay яндекса

Легко, в 1 минуте 60 секунл, в одном часе 60 минут, ледовательно 3600 секунд, в сутках 24 часа следовательно 86400 секунд.

Фигню написал. В общем она задает параметр через которое время робот ПС может обращаться к сайту, у меня стоит 4, что означает, робот делает обращение к сайту не чаще чем раз в 4 секунды.

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay

Все понятно до ужаса... И "настраивать" то нечего...
Обратите внимание на строку:
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay,
например, 0.5. Это не гарантирует, что поисковый робот будет заходить
на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет
ускорить обход сайта.

Что дает понять, что это ограничитель для роботов. Если робот сильно шустрый и слишком грузит сайт, то стоит указать значение побольше.

Есть предположение что у яндексбота есть квота по времени (тк. есть квота и на размеры файлов). У меня сайт состоит из 20тыс страниц, в индексе 1тыс. и порядка 11тыс страниц лежат в исключённых страницах (смотрю вебмастер) в честь чего это произошло не понятно. Там же тыкаю на эту ссылку и страница открывается и при проверки на отдачу выдаётся код 200. Платон пишет подождите переиндексацию. Исключил мои страницы яша 14 декабря. Ждать помоему не принесёт эфекта. Сейчас у меня стоит Crawl-delay 10, посещаемость на сайте 30 в сутки (нагрузки нет на сервере) думаю уменьшить кол-во секунд т.к. думаю что яша зайдёт и сможет быстрее переиндексировать исключённые страницы и выплюнуть их в индекс а может даже и в поиск. Ваше мнение?

Мое мнение, что это значение нужно вообще снести. Оно Вам не нужно.
Оно никак не подсобит в том, чтобы робот быстрее бегал по сайту. Действует как лежачий полицейский - лишь ограничивает скорость робота, заставляет его притормозить. Пинка под зад роботу для ускорения оно не дает.

Вот, собственно, суть этого значения:
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay".
Она позволяет задать поисковому роботу минимальный период времени (в
секундах) между концом закачки одной страницы и началом закачки
следующей.

пациент кстати мой http://yaport.su если думаете причина в другом прошу отписать мне. Спасибо.

Устаревший параметр, на который боты уже вообще не реагируют, заходят когда хотят сволочи, и глубоко им не интересны никакие намеки вроде Crawl-delay.

К "заходят когда хотят" данный параметр не относится. Crawl-delay это параметр влияющий на паузы между запросами, что бы при большом количестве страниц не создавалась избыточная нагрузка на сервер.

Да и это относится не к поисковому роботу а к серверам Apache, точнее к файлу настроек.