Google представила алгоритм, редактирующий реальность на видео

 
6922
01 сентября 2021 в 13:25
Автор: Виталий Олехнович

Процесс редактирования видеороликов часто основывается на точных масках, которые помогают отделить передний план и фон. Передовые методы компьютерного зрения уже сегодня позволяют делать это в автоматическом режиме в реальных приложениях. Правда, зачастую тени, отражения или дым от объекта и их эффекты на всю сцену игнорируются. В новом алгоритме для нейросетей Omnimattes подразделение Google AI пытается решить эту проблему.

Для этого использовали многоуровневый нейронный рендеринг для разделения видео на несколько слоев, которые включают в себя не только объект, но и производимые им эффекты. Как, например, дым от колес заходящей в дрифт машины или тень от человека на асфальте.

Для каждого видео обучается новая сеть рендеринга, которая способна разделять эффекты разных объектов, в случае если они перекрываются.

С помощью новых алгоритмов можно удалять объекты из видео, добавлять эффект стробоскопа или манипулировать временем. Как в примере ниже, где видео было отредактировано таким способом, что все трое юных пловцов прыгают в бассейн одновременно.


Школьные рюкзаки в Каталоге к новому учебному году — более 1 тыс. моделей

школьный, для девочек; 1 отделение, ортопедическая спинка, вентиляция спины
городской/школьный, унисекс; 17 л; 2 отделения, ортопедическая спинка, вентиляция спины
школьный, для девочек; 12 л; 2 отделения, ортопедическая спинка, вентиляция спины

Наш канал в Telegram. Присоединяйтесь!

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро

Автор: Виталий Олехнович
Без комментариев