Краулер Google-Extended сканирует контент для использования систем, которые применяют машинное обучение. С его помощью можно ограничить нейросетям доступ к своим ресурсам.
Чтобы не разрешать Bard и Vertex обучаться на ваших сайтах, нужно запрещать в файле robots.txt сканирование сайта для User-Agent: Google-Extented.
Подробнее о новых краулерах читайте всправочном материале Google.
