В своих размышлениях
Джон Мюллер в очередной раз подтвердил для кого-то вполне известную истину – чем быстрее ваш сервер отвечает на запрос GoogleBot, тем быстрее поисковый робот просканирует сайт. Причем в этом случае скорость имеет самое непосредственное отношение и к объему сканирования:
«… в целях ускорения сканирования сайта я бы побеспокоился о максимально быстром ответе сервера. Чем выше скорость сканирования с нашей стороны, тем больше контента в итоге мы способны просканировать в принципе».
Generally not. However, for sake of fast crawling, I'd still try to get that response as quickly as possible. The faster we can crawl, the more we can crawl.
— John ☆.o(≧▽≦)o.☆ (@JohnMu) 15 мая 2018 г.
Из этого следует, что скорость сайта (достигаемая быстротой серверов или грамотной оптимизацией кода) является важной не только для ваших конечных посетителей, но и для процесса сканирования его страниц со стороны Гуглбота. Обратная же сторона медали заключается в том, что медлительность ответа ресурса поисковому роботу Google ограничивает его передвижение по сайту. Со всеми вытекающими последствиями для поисковой оптимизации...
Напомним, вчера мы писали о том, что боты Google научены распознавать не все типы ссылок.