Новая система от Google под названием Imagen Video способна создавать видео в высоком качестве на основе текстового описания. Система генерирует ролики длительностью до 5 секунд в разрешении 1280х768 px.
При подаче текстового запроса система генерирует прототип видео из 16 кадров в разрешении 24х48 px и частотой в 3 FPS, а другая система увеличивает разрешение и выдает готовый результат.
Imagen Video умеет работать в разных стилях. Она способна имитировать работы художников, создавать вращающиеся 3D-объекты, которые сохраняют свою форму по мере вращения. Нейросеть обучена на десятках миллионов фотографий, видео и текстовых описаний. Несколько примеров работ:
Больше примеров по ссылке. Система находится в закрытом доступе, она открыта исключительно для сотрудников компании, чтобы ограничить появления в ней шокирующего или запрещенного контента. Надеемся, что она выйдет в свет и станет доступной для пользователей, или по крайней мере послужит основой для других нейросетей по созданию видео
Примечательно, что на прошлой неделе аналогичную технологию представила Meta*. Ее нейросеть под названием Make-a-video также умеет создавать видео по описанию и также находится в закрытом доступе, а прототипы кадров генерируются в разрешении 64х64 px.
Напоминаем, что весной Google представил нейросеть для генерации изображений по текстовому описанию DALL-E 2, а в середине лета в открытом доступе появился ее аналог — Midjourney.
*Компания Meta признана в России экстремистской организацией
