1444
25 ноября 2024 в 8:00
Автор: Антон Мерзляков. Фото: Влад Борисевич

Заявка на уровень Disney и Pixar? Как белорусы создают полнометражный мультфильм с помощью ИИ

Автор: Антон Мерзляков. Фото: Влад Борисевич

Создание анимированных изображений или тем более полноценных анимационных фильмов — долгий и весьма дорогостоящий процесс, которым профессионально занимаются мастодонты наподобие Disney или Pixar. Но что, если попробовать использовать искусственный интеллект и таким образом ускорить процесс? Этим в том числе занимаются в белорусской студии «Артеки», в которой хотят выпустить полнометражный мультфильм.

29 и 30 ноября в Минске состоится, по словам организаторов, крупнейший в СНГ форум по искусственному интеллекту — One AI Forum. В субботу (30 ноября) несовершеннолетним и студентам вход обещают сделать свободным (билет можно получить на сайте после заполнения формы). В форуме примут участие 100 проектов и 30 спикеров. Один из них — Олег Атякшев, CEO Arteki Studio. Встретились с ним и задали несколько вопросов.

«Мультипликация — самый классный и ни в чем не ограничивающий стиль»

— Расскажите немного о себе: из какой области пришли, чем занимались раньше?

— Я порядка десяти лет работал в сфере, связанной с видеопроизводством. Занимался съемкой рекламы, организацией съемочного процесса, администрированием. Последние лет пять конкретно ушел в продюсирование.

Но со временем понял, что хочется изучать что-то новое — так сложилось, что у нас появился проект JGGL, в него меня пригласили друзья. Мы работали с нейросетями, тестировали много всего, создавали много разного контента.

Тогда открыли прикольные связки, как можно делать контент с помощью нейросетей. И в поиске различных стилистик для задач, которые прилетали, поняли, что самый классный и ни в чем пока не ограничивающий стиль — это мультипликация, мультфильмы. Стали тестировать направление. Как итог — появилась анимационная студия.

— На чем вы специализируетесь?

— Arteki Studio — это студия генеративной анимации, специализирующаяся на создании мультфильмов с использованием передовых алгоритмов и технологий. Концепцию определили так.

Началось все с того, что один из наших проектов, Imba Music (часть упоминавшейся выше JGGL Ecosystem. — Прим. Onlíner), занимается генеративной музыкой, такой музыкальный ИИ-лейбл. Проще говоря, создаем виртуальных артистов, запускаем их на стриминговые платформы, работаем над аудио и визуалом. В процессе поняли, что генерировать артистов-людей — классно, но хочется чего-то интересного. Пробовали пойти в аниме, в еще какие-то стили. В какой-то момент сгенерировали образ плюшевой игрушки. Маскот, можно сказать. Стали создавать для него контент, и он начал залетать.

Подумали: а что, если сделать с маскотом видеоролик побольше, целый клип? В итоге пришли к трейлеру в стиле мультфильма. И решили, что интересно работать в этом направлении.

Посмотреть эту публикацию в Instagram

Публикация от @arteki_studio

«Попробуем сделать полнометражный мультфильм»

— Это B2B-история, или нацелены на обычных пользователей? 

— У нас в команде есть ребята (на момент разговора с Олегом в Arteki Studio несколько десятков человек. — Прим. Onlíner), профессионально занимающиеся кинопроизводством. Они не просто умеют снимать, а придумывать, подбирать тематику, продавать. Как правило, «классические» мультфильмы делаются за очень большие деньги, и делаются очень долго.

Так пришли к мысли: если можем создавать анимацию на базе того, что и так делали (аудио/визуал с помощью ИИ. — Прим. Onlíner), и быстрее, чем это происходит в «классическом» видеопроизводстве, надо это делать. На русскоязычном рынке сейчас не так много студий, заполняющих нишу.

Тема весьма инновационная — так давайте попробуем сделать полнометражный мультфильм.

Если отвечать на изначальный вопрос, то сейчас мы работаем над всеми возможными моделями монетизации. Делаем и собственные мультфильмы (в разработке два проекта, как минимум один с желаемым хронометражем около полутора часов. — Прим. Onlíner), которые позже собираемся выпустить в полноценный прокат, и ведем переговоры со студиями, бизнесами, которым интересно производство такого рода контента.

Есть и заказная разработка, и собственное производство. Но на него нужны деньги. Поэтому мы, как пока молодой стартап, готовы бросить силы на то, чтобы заработать эти деньги.

— Вы упомянули, что с помощью ИИ процесс становится ощутимо быстрее. Есть понимание, насколько именно?

— Есть предварительная оценка наша. Мы предполагаем, что полный метод нашего производства будет в шесть раз быстрее относительно классического метода производства и минимум в пять раз дешевле.

«Основная проблема генерации изображений — каждый раз результат уникальный»

— Как идет процесс создания анимации с помощью ИИ? Можете описать основные этапы — насколько все автоматизировано?

— Когда у нас есть какая-то задумка, идея, концепция, начинаем разрабатывать визуал, генерировать изображения. Потом мы их дорабатываем — для этого у нас целый отдел художников. Можно сказать, делаем раскадровку — в том числе вручную. От классического производства взято очень много. Есть технология, которая позволяет из наброска на бумаге создать персонаж с помощью генерации. После того, как нас все устроит, идем в следующий этап — начинаем оживлять.

Здесь есть проблема: даже с учетом того, с какой скоростью развиваются нейросети, они пока не могут «оживить» достаточно большой кусок материала. Это было большой проблемой для нас, когда мы пошли в производство полного метра. Ведь полнометражный мультфильм подразумевает длинные сцены, с драматургией. Команда занялась решением этой задачи, и есть наработки, которые сейчас применяем, чтобы сделать подобные отрывки длиннее.

— В чем [в вашей сфере] сильные стороны ИИ, а в чем он пока отстает?

— Ребята привлекают достаточно классические инструменты, чтобы научить нейросети тому, что они должны сделать. Вплоть до того, что мы отдельно создаем базовые 3D-модели. После подтягиваем одну нейронку, вторую, третью — и вот она уже «оживляет» персонажей с окружением. Во-первых, так изображение получается длиннее.

Следующий вызов — консистентность. Нейросеть выдает 25 кадров в секунду при оживлении. И задача в том, чтобы сохранить визуал персонажа, его одежду, волосы, глаза и локацию. Если простыми словами, основная проблема генерации изображения через нейросети в том, что каждый раз результат уникальный. Изначально, например, задаешь запрос нейросети: сгенерируй мне серого котика. Она анализирует датасет и, исходя из своих знаний, генерирует этого серого котика. Для следующего кадра ты опять генерируешь этого котика и делаешь точно такой же запрос, но он уже окажется другим.

Мультфильм — это, по сути, множество кадров, соединенных вместе. Мы научились переносить уникальные изображения из кадра в кадр. Но постпродакшен, в том числе ручной, никто не отменял. Важно подытожить, что начальная разработка героя, его отрисовка, является «едой» для нейросети. Мы используем обширное количество open-source-нейросетей. Каждая по отдельности может быть весьма эффективна, но выполнять определенные задачи. Наша уникальность в технологиях, которые их объединяют.

Секунда графики может стоить сумасшедших денег. ИИ решает этот вопрос

— Как найти баланс между использованием ИИ и сохранением творчества? ИИ сегодня ощутимо меняет индустрию или это дело будущего? 

— Точно могу сказать, что ИИ — хороший инструмент, который сильно дополняет и ускоряет работу творческой команды. Иногда мы сталкиваемся с блокером в виде нейросети, который не дает то, что мы хотим, а иногда она предлагает крутые решения, о которых мы даже подумать не могли. Только с опытом, подбором промтов начинаешь ее понимать. Поэтому процессы все равно больше направлены в сторону людей, но классные связки получаются. Ведь важный момент — это проверка концепции, идей.

Пример — производство классических мультфильмов с помощью пластилина. Ты собрал экспозицию, надел на человечка красную куртку, отфотографировал, сделал раскадровку, запустил ролик, смотришь — красная куртка смотрится плохо, давайте попробуем зеленую. И обратно все переделываешь. При помощи ИИ эту куртку можно заменить за секунду. Или экспозицию сделать светлее/темнее.

В классическом производстве команде потребуется на это неделя-две. Секунда графики может стоить сумасшедших денег. Тут мы гибче, у нас немножко не такой пайплайн, как в обычном производстве. Благодаря этому команда сценаристов включена в проект постоянно.

— ИИ помогает в развитии идей для анимации? Такие решения применяются при создании видео или в том числе при работе над сценариями, персонажами?

— Мы используем понятные проверенные инструменты и включаем искусственный интеллект лишь в те этапы, где он реально способен помочь и ускорить процессы. Но глобально концепции придумываем сами, сценарии пишем сами. ИИ подключаем, когда дело идет к визуалу. Есть режиссер, работающий над визуалом, драматургией, подачей. Но включение подобных специалистов постоянно требуется на этапе анимации. Особенно если видим, что нечто работает не так, как хочется.

«Люди останутся ключевым элементом при создании контента»

— Вспоминая недавнюю забастовку в Голливуде, связанную с использованием ИИ в производстве фильмов. Нужно ли вводить какие-либо ограничения? 

— Мне кажется, что до этого нам еще очень далеко. В творческом направлении люди все равно останутся ключевым элементом при создании контента. В других областях — ИТ-разработке, где-то еще — дела, возможно, обстоят иначе, где автоматизации поддается больше процессов. У нас все чуть иначе.

Технология (анимация с применением ИИ. — Прим. Onlíner) прорывная, запятнать ее не хочется. Наоборот — использовать максимально аккуратно, не нарушая права других людей, компаний. Просто важно понимать: искусственный интеллект не создает что-то новое. Он объединяет уже созданное человеком.

— Вопросы наподобие «разве может робот написать симфонию?» с этой точки зрения актуальны?

— ИИ не придумывает сам — он собирает. Человек способен придумывать, а «интеллект» просто комбинирует, хотя очень классно и интересно помогает реализовывать идеи.

Если произойдет перекос в ИИ, он перестанет развиваться. Потому что ему не на чем будет учиться. Я бы сказал, что в ближайшие годы роль человека будет лишь увеличиваться. С точки зрения взаимодействия, влияния на ИИ — как оператора, пытающегося понять, на что тот способен, как его раскрыть, найти ограничения и направлять для наших целей.

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро

Перепечатка текста и фотографий Onlíner без разрешения редакции запрещена. ga@onliner.by