Google показала нейросеть для генерации видео по текстовому описанию

Google анонсировала нейросеть Lumiere, предназначенную для генерации коротких видеороликов на основе текстового описания. В Ars Technica сервис назвали самым продвинутым среди уже существующих. Все благодаря модели «пространственно-временной диффузии».

В отличие от конкурентов, Lumiere создает видео от начала до конца в рамках одного процесса. Другие похожие сервисы сначала генерируют ключевые части кадров, после чего увеличивают их разрешение.

Функциональность Google Lumiere не ограничивается преобразованием текста в видео. Сервис также умеет создавать видео из статичных изображений, применять различные стили по образцу, редактировать ролики по текстовым подсказкам и т. д.

Нейросеть обучена на огромном массиве данных, в который входит 30 миллионов видеороликов. Google Lumiere умеет создавать видео продолжительностью 5 секунд в разрешении 1024×1024 пикселей.

Увы, в Google не уточняют, когда Lumiere смогут опробовать желающие и смогут ли вообще. В корпорации отмечают, что очень хотят дать возможность пользователям проявить свои творческие способности, но опасаются появления дипфейков и вредоносного контента.

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро