Crawler Hints («подсказки для краулеров») — это сервис, представленный Cloudwlare минувшим летом, который повышает эффективность работы около 45% трафика, поступающего от веб-краулеров и ботов. Crawler Hints получает информацию о том, что роботы сканировали ранее, поэтому экономит время для повторного сканирования.
Команда Cloudflare объявила сегодня о двух обновлениях для Crawler Hints:
Поддержка IndexNow.
Crawler Hints стал бесплатным для всех пользователей.
IndexNow — это новый протокол для поисковых систем, разработанный Яндексом совместно с Microsoft, представленный накануне. Команда Cloudflare рассказала в своем блоге о том, что они тестировали новый протокол вместе с Bing и Яндексом в течение нескольких месяцев.
Включить Crawler Hints бесплатно можно на вкладке Cache на панели инструментов.
