Google представила алгоритм, редактирующий реальность на видео

Процесс редактирования видеороликов часто основывается на точных масках, которые помогают отделить передний план и фон. Передовые методы компьютерного зрения уже сегодня позволяют делать это в автоматическом режиме в реальных приложениях. Правда, зачастую тени, отражения или дым от объекта и их эффекты на всю сцену игнорируются. В новом алгоритме для нейросетей Omnimattes подразделение Google AI пытается решить эту проблему.

Для этого использовали многоуровневый нейронный рендеринг для разделения видео на несколько слоев, которые включают в себя не только объект, но и производимые им эффекты. Как, например, дым от колес заходящей в дрифт машины или тень от человека на асфальте.

Для каждого видео обучается новая сеть рендеринга, которая способна разделять эффекты разных объектов, в случае если они перекрываются.

С помощью новых алгоритмов можно удалять объекты из видео, добавлять эффект стробоскопа или манипулировать временем. Как в примере ниже, где видео было отредактировано таким способом, что все трое юных пловцов прыгают в бассейн одновременно.

Школьные рюкзаки в Каталоге к новому учебному году — более 1 тыс. моделей

Наш канал в Telegram. Присоединяйтесь!

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро