В 2008 году поисковая система позволила через тогда еще Google Webmaster Tools (сейчас – Google Search Console) владельцам сайтов влиять на сканирование контента ботами.
По умолчанию поисковик сам определял частоту сканирования с учетом возможностей сервера размещения ресурса. Однако, если такая частота по каким-то причинам не устраивала сеошника, то он мог сам задать нужную:
![](https://s3-eu-central-1.amazonaws.com/news.pr-cy.ru/49127/images/ff40b91ef9482a4279b53045c465b737.jpg)
Сегодня такая возможность все еще остается, несмотря на прекращение поддержки старой версии консоли, в которой этот инструмент был реализован. При этом Джон Мюллер напоминает о том, как долго ждать изменений, если вы вручную задаете необходимую частоту посещений Гуглботом:
«Обычно требуются сутки, чтобы изменения в частоте сканирования сайта нашим ботом вступили в силу. Если вам нужно повлиять на скорость, я бы также советовал использовать код ответа 503 для чрезмерных запросов с нашей стороны».
![](https://s3-eu-central-1.amazonaws.com/news.pr-cy.ru/49127/images/fef54a4cbe41208ad3215e2acb556b2a.jpg)
Подробное описание кодов ответа сервера – выложено здесь.