Процесс редактирования видеороликов часто основывается на точных масках, которые помогают отделить передний план и фон. Передовые методы компьютерного зрения уже сегодня позволяют делать это в автоматическом режиме в реальных приложениях. Правда, зачастую тени, отражения или дым от объекта и их эффекты на всю сцену игнорируются. В новом алгоритме для нейросетей Omnimattes подразделение Google AI пытается решить эту проблему.
Для этого использовали многоуровневый нейронный рендеринг для разделения видео на несколько слоев, которые включают в себя не только объект, но и производимые им эффекты. Как, например, дым от колес заходящей в дрифт машины или тень от человека на асфальте.
Для каждого видео обучается новая сеть рендеринга, которая способна разделять эффекты разных объектов, в случае если они перекрываются.
С помощью новых алгоритмов можно удалять объекты из видео, добавлять эффект стробоскопа или манипулировать временем. Как в примере ниже, где видео было отредактировано таким способом, что все трое юных пловцов прыгают в бассейн одновременно.
Наш канал в Telegram. Присоединяйтесь!
Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро