Ограничитель скорости краулеров работал на протяжении почти 10 лет, но по мере совершенствования других инструментов Google решил его отключить с 8 января 2024 года. С развитием алгоритмов сканирования инструмент по ограничению скорости краулеров стал работать значительно медленнее — на введение лимита могло уходить больше суток.
Компания упраздняет старый инструмент, ведь теперь скорость сканирования регулируется автоматически. Для Googlebot по-прежнему будет доступен отчет, где появятся сообщения об экстренных случаях или необычном поведения поискового бота. Самый быстрый способ снизить скорость сканирования — это указать роботу корректные ответы сервера по инструкции от Google.
