В Яндекс.Вебмастере можно будет регулировать скорость обхода сайта ботом

​Функционал Яндекс.Вебмастера, который постоянно совершенствуется, пополнился новым полезным инструментом – «Скорость обхода».

Новую функцию можно найти в разделе Яндекс.Вебмастера «Индексирование» (см. скрин ниже). С помощью нового инструмента владелец сайта сможет регулировать частотность запросов к веб-ресурсу со стороны поисковой системы Яндекс, то есть фактически задавать скорость обхода сайта поисковыми ботами.

Как свидетельствует изображение, на выбор пользователя предлагается два варианта настройки скорости обхода сайта. Во-первых, если владелец ресурса имеет свои предпочтения к ограничению частоты запросов к сайту, то в этом случае можно задать индивидуальную скорость обхода для отдельно взятого проекта.

Во-вторых, если таких предпочтений нет, то тогда можно всецело положиться на поисковую систему, выбрав опцию «Доверить Яндексу». В этой ситуации (по умолчанию) поисковик будет автоматически устанавливать максимальную скорость обхода для конкретного сайта с учетом допустимых нагрузок на сервер.

Установить нужную вам скорость обхода сайта можно прямо сейчас. Однако Яндекс начнет учитывать ваши настройки только с 22 февраля 2018 года.

В завершении нужно отметить, что с запуском в Яндекс.Вебмастере этого инструмента отпала необходимость в поддержке аналогичной по своей сути директивы Crawl-delay в файле robots.txt. Следовательно, в Яндексе заявили, что отказываются от нее.

Комментарии (0)
  18.02.2018 16:31
Доверять Яндексу это как, я вот сам себе бывает не доверяю, а вообще наверное хорошая идея
К данной записи нельзя добавлять комментарии т.к. она очень старая.