Уменьшение нагрузки от поисковых ботов

Здравствуйте. Уже 2 раза за несколько дней вижу на своих сайтах 502 ошибку. Хостер сказал что повышенную нагрузку создают поисковые боты. Гугл бот имеет периодичность сканирования сайтов разную - она автоматически выставлена. А вот яндекс бот - не знаю какая периодичность. Для уменьшения нагрузки от я бота рекомендуют использовать директиву crawl-delay 
https://help.yandex.ru/webmaster/controlling-robot...
А теперь вопрос - если кто-то из вас ее использует, то какую периодичность вы выставили себе? Понимаю что сайты и нагрузка на хост у каждого разная, но все же...