Приложение после технологии

Со стороны кажется, что перед нами расширенная версия MSQRD: приложение целиком надевает на человека некий костюм, а не просто накладывает маску на лицо. Отчасти разработчики Александр и Виталий согласны с таким определением, но уточняют, что с технической точки зрения разница между программами большая.

— У нас была технология, над которой хотели поработать. И под нее искали хорошее решение. Вариантов появилось много: начиная от спортивных приложений, которые отслеживают точность упражнений, и заканчивая модой. Решили остановиться на костюмах. Трекинг всего тела, особенно на мобильных девайсах, — это достаточно новая ниша. Мы хотели сделать что-то для доказательства работы нашей технологии, — говорят разработчики.

Проект Kimchi появился осенью на хакатоне в Парке высоких технологий. Команда пришла на мероприятие только с идеей и материалами из открытых библиотек — в частности, Open Pose.

Существующий прототип обрабатывал данные через серверы и требовал приличного «железа». Приложение Kimchi, в свою очередь, использует только ресурсы смартфона, никаких «облачных» вычислений:

— При работе нейронной сети нужно учитывать два ключевых фактора. Первый — вес нейронной модели. Мы использовали уже натренированную модель, чтобы она обходилась без связи с сервером. Второй — скорость работы, то есть количество кадров в секунду. За основу мы взяли Open Pose. В первый день модель «весила» 250 МБ и работала со скоростью 0,1 fps.

Тестовым устройством выступал iPhone 6 — уже старенький по нынешним меркам аппарат. Разработчики говорят, что выбрали такой девайс намеренно: «Если на нем нормально заработает, то на свежих смартфонах просто полетит все». Спустя два дня объем модели уменьшили в сто раз — до 2,5 МБ. Скорость составила 14 кадров в секунду. За тот хакатон команда успела сделать костюм Железного человека и несколько визуальных эффектов вроде светящихся шаров в руках.

Примерка одежды и сурдопереводчик

От Kimchi вполне может быть реальная польза. Разработчики говорят, что пока не определились с направлением развития. Сейчас команда движется в индустрию моды — виртуальная примерка одежды, например. Не исключена и медицинская сфера — технологию можно использовать для распознавания языка жестов и диагностики заболеваний, связанных с изменением походки.

— Но порог входа в медтех высокий, там нужны большие инвестиции. Мы пока смотрим на индустрию моды. Почему занялись костюмами? Это развлекательная сфера, в которой можно хорошо заявить о себе. А затем сможем пойти в другие области. Так что сейчас занимаемся именно развлекательным приложением. Однако технология позволяет делать намного больше. Лично мне очень интересно было бы заниматься медтехом и сурдопереводом, — говорит Александр.

В Kimchi сейчас заняты оптимизацией технологии, поэтому внешних нововведений мало: все тот же костюм Железного человека и несколько эффектов. Зато производительность выросла примерно до 30 кадров в секунду:

— Мы работаем над многими вещами, которые внешне не видны. Например, улучшили стабильность модели — система более точно определяет ключевые точки и накладывает костюм. Появилась поддержка нескольких людей. Ограничений по количеству почти нет. Нейронная сеть устроена так, что может распознавать огромные толпы — хоть зрителей на стадионе. У нас как идея с костюмами появилась: представили по фану, что в метро вместо людей ходят штурмовики и Дарты Вейдеры. Решили за это зацепиться, — рассказывает Виталий.

Особенность нейросети в том, что потребление ресурсов не зависит от количества моделей в кадре: что один Железный человек, что десять — количество fps будет одинаковым.

Премудрости нейросети

Всего приложению нужно определить на человеке около пятнадцати точек: «Одна на голове, одна на шее, несколько на плечах, в локтях, потом кисти рук, колени и так далее. Если хотим более высокой точности, то добавляем пальцы, отдельные фаланги». Нейросеть работает достаточно точно — может отслеживать и положение глаз, но в Kimchi это пока просто не нужно. Заодно команда решила проблему отслеживания перемещений человека:

— В нейросетях есть понятие «поля аффинных частей». Грубо говоря, если мы станем друг за другом, нейросеть все равно будет нас различать. Если упростить, то мы научили нейросеть предсказывать, куда вы пойдете.

Нейросеть требует большого объема информации: чем больше примеров есть в базе данных, тем лучше она работает. Сбор сведений — задача сложная, и команда думает создать «синтетический датасет»:

— Это трехмерный массив информации, где можно выставить освещение, настроить форму человека, его пропорции, накинуть одежду и волосы. Тогда получится обучить нейросеть на огромной выборке изображений, чтобы она узнавала и темнокожих, и полных людей, и стройных.

Пока что костюм Железного человека не растягивается и не «ушивается» под фигуру человека. В Kimchi говорят, что смогут это исправить:

— Анимодзи в iPhone X работают на белом фоне — Apple еще не научилась адаптировать движения под разные лица. Для прототипа мы тоже хотим делать анимацию персонажа, но в дальнейшем будем работать над пропорциями тела.

AR Kit разработчики не используют: сперва планы такие были, но потом стало понятно, что можно обойтись без него. В дальнейшем («для пары интересных идей») инструментарий все же будет задействован.

Проект обретает реальные формы не так быстро, как мог бы — ребята занимаются им только в свободное время. Александр и Виталий поясняют, что можно было бы уйти с основной работы и целиком заняться Kimchi, но спешить некуда:

— После «Стартапа года» мы пообщались с инвесторами и поняли, что лучший вариант — оставить все как есть. Мы можем, не кидаясь в омут с головой, дойти до стадии, когда продукт будет гораздо ценнее. Движение к цели продолжается.

---

Команда общалась с инвесторами из Австрии, Израиля, России и пары других стран. Интерес, говорят разработчики, есть: «Мы ведем переговоры и параллельно разрабатываем продукт». Сроки появления релизной версии в Kimchi предпочитают не называть — на это могут еще потребоваться месяцы. Зато о планах на будущее говорят просто: «Хотим создать крутой продукт и повторить успех MSQRD и AIMATTER». Вариант, похоже, более чем реальный.

Смартфоны в каталоге Onliner.by

Читайте также:

• Новый «Рубикон»? Обзор World of Tanks после обновления 1.0
• «Промытые мозги» и контроль над разумом. История скандального проекта ЦРУ, который завершился ничем

Наш канал в Telegram. Присоединяйтесь!

В меру новостей, в меру мемов и много веселья в нашем сообществе в VK

Перепечатка текста и фотографий Onliner.by запрещена без разрешения редакции. nak@onliner.by