У Меня такая ситуация, на сайте с базой данных на 200 mb (4 000 страниц) сайту больше года и все страницы есть в индексе. Вопрос такой - Yandex bot КАЖДЫЙ ДЕНЬ скачивает по 8-9 гигов !!! ... Это нормальное явление ????
У меня был похожий случай, пошла большая нагрузка на сервер. В логах сайта определил IP, который долбал сайт, заблокировал его, но потом увидел, что там прописан Yandex bot. Написал в техподдержку хостинга. Они подтвердили, что именно этот IP грузит сервер, и что к Яндексу этот бот никакого отношения не имеет. Прислали распечатку данных этого IP, сервер его находился в Германии. Ну и рекомендовали заблокировать этот адрес. Так что найдите и проверьте по логам местонахождение этого бота, возможно это не Яндекс качает сайт.
Яндекс может на время удалить из поиска сайт, чтобы его полностью "перелопатить" и потом вернуть обратно в поиск на то же место. Но такие гигабайты вряд ли Яша будет грузить для индексации. Можно этот вопрос и Платону задать.
А может это от того что я прописал микроразметку на сайте около месяца назад ??? Вот яндекс и пересканирует таким образом !