Скорость обхода яндекс. как контролировать?

Пишите в ТП Яндекса с вежливой просьбой (без наездов) расширить в ВМ диапазон регулировки скорости обхода для конкретного сайта ввиду того, что робот сейчас не понимает директиву "crawl delay". Можете сразу приложить логи посещений за какой-то период, где видно много посещений робота.

Также проанализируйте страницы на качество (и наличие) кеширования, возможно, нагрузка идет из-за того, что при каждом запросе какая-то часть генерируется по-новому, т.е. кеширование неоптимально, либо отсутствует. Либо какой-то скрипт создает нагрузку при частом обращении к сайту.

Спасибо,
да сейчас копаю в плане оптимизации.
кеширование настроено. Сайт, можно сказать новый, и при каждом запросе от бота кэш только формируется. 
Просто чтобы Яндекс в день добавлял в индекс по 10000-15000 страниц в индекс, я с таким вперый раз сталкиваюсь.
 

Яндекс их проиндексирует, но не факт что они попадут в видачу.

я через host проверял, в индексе есть, возможно он потом часть повыкидывает. 

Проверьте может страница отдает 304 Not Modified для бота постоянно (если настроен Last-Modified). Один раз были глюки с гуглоботом, эта тварюка ходила на каждую страницу по 100 раз за день, в итоге было куча запросов в логе и нагрузка на сервер. Покопался в плагине кеша и отрубил все лишние заголовки и оставил код 200.

везде 200

в Роботсе прописать: User-agent: Yandex Crawl-delay: 10 10 это интервал в секундах для поискового робота. У яндекса много роботов и некоторые эту команду понимают. Хотя бы некоторых тормознуть получится

Никогда не пишите подобного бреда. Перечитайте мой ответ выше. Яндекс уже пару лет эту директиву не использует и не понимает.

На всякий случай, чтобы не было желания спорить - https://yandex.ru/support/webmaster/robot-workings/crawl-delay.html

Сегодня Яндексбот решил просканировать все страницы моего сайта за один раз, уже больше 20к обошел. Превышение лимитов на хостинге в 3 раза. 

Посмотри в логах, возможно не только яндекс сканирует.