Создание анимированных изображений или тем более полноценных анимационных фильмов — долгий и весьма дорогостоящий процесс, которым профессионально занимаются мастодонты наподобие Disney или Pixar. Но что, если попробовать использовать искусственный интеллект и таким образом ускорить процесс? Этим в том числе занимаются в белорусской студии «Артеки», в которой хотят выпустить полнометражный мультфильм.
29 и 30 ноября в Минске состоится, по словам организаторов, крупнейший в СНГ форум по искусственному интеллекту — One AI Forum. В субботу (30 ноября) несовершеннолетним и студентам вход обещают сделать свободным (билет можно получить на сайте после заполнения формы). В форуме примут участие 100 проектов и 30 спикеров. Один из них — Олег Атякшев, CEO Arteki Studio. Встретились с ним и задали несколько вопросов.
— Расскажите немного о себе: из какой области пришли, чем занимались раньше?
— Я порядка десяти лет работал в сфере, связанной с видеопроизводством. Занимался съемкой рекламы, организацией съемочного процесса, администрированием. Последние лет пять конкретно ушел в продюсирование.
Но со временем понял, что хочется изучать что-то новое — так сложилось, что у нас появился проект JGGL, в него меня пригласили друзья. Мы работали с нейросетями, тестировали много всего, создавали много разного контента.
Тогда открыли прикольные связки, как можно делать контент с помощью нейросетей. И в поиске различных стилистик для задач, которые прилетали, поняли, что самый классный и ни в чем пока не ограничивающий стиль — это мультипликация, мультфильмы. Стали тестировать направление. Как итог — появилась анимационная студия.
— На чем вы специализируетесь?
— Arteki Studio — это студия генеративной анимации, специализирующаяся на создании мультфильмов с использованием передовых алгоритмов и технологий. Концепцию определили так.
Началось все с того, что один из наших проектов, Imba Music (часть упоминавшейся выше JGGL Ecosystem. — Прим. Onlíner), занимается генеративной музыкой, такой музыкальный ИИ-лейбл. Проще говоря, создаем виртуальных артистов, запускаем их на стриминговые платформы, работаем над аудио и визуалом. В процессе поняли, что генерировать артистов-людей — классно, но хочется чего-то интересного. Пробовали пойти в аниме, в еще какие-то стили. В какой-то момент сгенерировали образ плюшевой игрушки. Маскот, можно сказать. Стали создавать для него контент, и он начал залетать.
Подумали: а что, если сделать с маскотом видеоролик побольше, целый клип? В итоге пришли к трейлеру в стиле мультфильма. И решили, что интересно работать в этом направлении.
— Это B2B-история, или нацелены на обычных пользователей?
— У нас в команде есть ребята (на момент разговора с Олегом в Arteki Studio несколько десятков человек. — Прим. Onlíner), профессионально занимающиеся кинопроизводством. Они не просто умеют снимать, а придумывать, подбирать тематику, продавать. Как правило, «классические» мультфильмы делаются за очень большие деньги, и делаются очень долго.
Так пришли к мысли: если можем создавать анимацию на базе того, что и так делали (аудио/визуал с помощью ИИ. — Прим. Onlíner), и быстрее, чем это происходит в «классическом» видеопроизводстве, надо это делать. На русскоязычном рынке сейчас не так много студий, заполняющих нишу.
Тема весьма инновационная — так давайте попробуем сделать полнометражный мультфильм.
Если отвечать на изначальный вопрос, то сейчас мы работаем над всеми возможными моделями монетизации. Делаем и собственные мультфильмы (в разработке два проекта, как минимум один с желаемым хронометражем около полутора часов. — Прим. Onlíner), которые позже собираемся выпустить в полноценный прокат, и ведем переговоры со студиями, бизнесами, которым интересно производство такого рода контента.
Есть и заказная разработка, и собственное производство. Но на него нужны деньги. Поэтому мы, как пока молодой стартап, готовы бросить силы на то, чтобы заработать эти деньги.
— Вы упомянули, что с помощью ИИ процесс становится ощутимо быстрее. Есть понимание, насколько именно?
— Есть предварительная оценка наша. Мы предполагаем, что полный метод нашего производства будет в шесть раз быстрее относительно классического метода производства и минимум в пять раз дешевле.
— Как идет процесс создания анимации с помощью ИИ? Можете описать основные этапы — насколько все автоматизировано?
— Когда у нас есть какая-то задумка, идея, концепция, начинаем разрабатывать визуал, генерировать изображения. Потом мы их дорабатываем — для этого у нас целый отдел художников. Можно сказать, делаем раскадровку — в том числе вручную. От классического производства взято очень много. Есть технология, которая позволяет из наброска на бумаге создать персонаж с помощью генерации. После того, как нас все устроит, идем в следующий этап — начинаем оживлять.
Здесь есть проблема: даже с учетом того, с какой скоростью развиваются нейросети, они пока не могут «оживить» достаточно большой кусок материала. Это было большой проблемой для нас, когда мы пошли в производство полного метра. Ведь полнометражный мультфильм подразумевает длинные сцены, с драматургией. Команда занялась решением этой задачи, и есть наработки, которые сейчас применяем, чтобы сделать подобные отрывки длиннее.
— В чем [в вашей сфере] сильные стороны ИИ, а в чем он пока отстает?
— Ребята привлекают достаточно классические инструменты, чтобы научить нейросети тому, что они должны сделать. Вплоть до того, что мы отдельно создаем базовые 3D-модели. После подтягиваем одну нейронку, вторую, третью — и вот она уже «оживляет» персонажей с окружением. Во-первых, так изображение получается длиннее.
Следующий вызов — консистентность. Нейросеть выдает 25 кадров в секунду при оживлении. И задача в том, чтобы сохранить визуал персонажа, его одежду, волосы, глаза и локацию. Если простыми словами, основная проблема генерации изображения через нейросети в том, что каждый раз результат уникальный. Изначально, например, задаешь запрос нейросети: сгенерируй мне серого котика. Она анализирует датасет и, исходя из своих знаний, генерирует этого серого котика. Для следующего кадра ты опять генерируешь этого котика и делаешь точно такой же запрос, но он уже окажется другим.
Мультфильм — это, по сути, множество кадров, соединенных вместе. Мы научились переносить уникальные изображения из кадра в кадр. Но постпродакшен, в том числе ручной, никто не отменял. Важно подытожить, что начальная разработка героя, его отрисовка, является «едой» для нейросети. Мы используем обширное количество open-source-нейросетей. Каждая по отдельности может быть весьма эффективна, но выполнять определенные задачи. Наша уникальность в технологиях, которые их объединяют.
— Как найти баланс между использованием ИИ и сохранением творчества? ИИ сегодня ощутимо меняет индустрию или это дело будущего?
— Точно могу сказать, что ИИ — хороший инструмент, который сильно дополняет и ускоряет работу творческой команды. Иногда мы сталкиваемся с блокером в виде нейросети, который не дает то, что мы хотим, а иногда она предлагает крутые решения, о которых мы даже подумать не могли. Только с опытом, подбором промтов начинаешь ее понимать. Поэтому процессы все равно больше направлены в сторону людей, но классные связки получаются. Ведь важный момент — это проверка концепции, идей.
Пример — производство классических мультфильмов с помощью пластилина. Ты собрал экспозицию, надел на человечка красную куртку, отфотографировал, сделал раскадровку, запустил ролик, смотришь — красная куртка смотрится плохо, давайте попробуем зеленую. И обратно все переделываешь. При помощи ИИ эту куртку можно заменить за секунду. Или экспозицию сделать светлее/темнее.
В классическом производстве команде потребуется на это неделя-две. Секунда графики может стоить сумасшедших денег. Тут мы гибче, у нас немножко не такой пайплайн, как в обычном производстве. Благодаря этому команда сценаристов включена в проект постоянно.
— ИИ помогает в развитии идей для анимации? Такие решения применяются при создании видео или в том числе при работе над сценариями, персонажами?
— Мы используем понятные проверенные инструменты и включаем искусственный интеллект лишь в те этапы, где он реально способен помочь и ускорить процессы. Но глобально концепции придумываем сами, сценарии пишем сами. ИИ подключаем, когда дело идет к визуалу. Есть режиссер, работающий над визуалом, драматургией, подачей. Но включение подобных специалистов постоянно требуется на этапе анимации. Особенно если видим, что нечто работает не так, как хочется.
— Вспоминая недавнюю забастовку в Голливуде, связанную с использованием ИИ в производстве фильмов. Нужно ли вводить какие-либо ограничения?
— Мне кажется, что до этого нам еще очень далеко. В творческом направлении люди все равно останутся ключевым элементом при создании контента. В других областях — ИТ-разработке, где-то еще — дела, возможно, обстоят иначе, где автоматизации поддается больше процессов. У нас все чуть иначе.
Технология (анимация с применением ИИ. — Прим. Onlíner) прорывная, запятнать ее не хочется. Наоборот — использовать максимально аккуратно, не нарушая права других людей, компаний. Просто важно понимать: искусственный интеллект не создает что-то новое. Он объединяет уже созданное человеком.
— Вопросы наподобие «разве может робот написать симфонию?» с этой точки зрения актуальны?
— ИИ не придумывает сам — он собирает. Человек способен придумывать, а «интеллект» просто комбинирует, хотя очень классно и интересно помогает реализовывать идеи.
Если произойдет перекос в ИИ, он перестанет развиваться. Потому что ему не на чем будет учиться. Я бы сказал, что в ближайшие годы роль человека будет лишь увеличиваться. С точки зрения взаимодействия, влияния на ИИ — как оператора, пытающегося понять, на что тот способен, как его раскрыть, найти ограничения и направлять для наших целей.
Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро
Перепечатка текста и фотографий Onlíner без разрешения редакции запрещена. ga@onliner.by