В конце сентября Google представил нового поискового робота, заточенного под применение данных для обучения генеративно-состязательных нейросетей — Google-Extened. На днях зарубежный оптимизатор Глен Гейб обнаружил, что управление индексацией через нового краулера не работает для SGE.
Search Generative Experience (SGE) — это новая поисковая платформа Google со встроенным искусственным интеллектом, анонсированная минувшим летом. В ней пользователь может получать сгенерированные ответы от нейросети. После заявления Гейба обнаружилось, что запрет для индексации Google-Extened в robots.txt никак не влияет на использование контента в ответе.
Единственный способ полностью отказаться от сканирования своего контента для ИИ — это полностью заблокировать Googlebot.
