После долгой работы в сфере специального образования Антонина Судиловская задумалась над приложением, которое поможет врачам автоматизировать ряд логопедических процессов, а детям с речевыми нарушениями — весело и беззаботно справляться со сложными заданиями. В результате появился логопедический помощник CatZu. За набором простых с виду заданий скрываются сложные алгоритмы компьютерного зрения и машинного обучения, которые распознают лицевую мимику. Мы встретились с руководителем проекта и узнали все подробности о CatZu.
— Такое приложение вряд ли придумает человек со стороны. Вы, наверное, врач?
— Я дефектолог. Эту специальность в Беларуси получают в педагогическом университете. Долго работала в сфере инклюзивного образования. В декретном отпуске познакомилась с IT-индустрией, меня пригласили в проект по созданию переводчика языка жестов с использованием компьютерного зрения. Узнав специфику этой сферы, я поняла: в IT есть масса инструментов, которые просто незаменимы в инклюзивном образовании. Возникло много идей, и одна из них получила воплощение в мобильном интерактивном помощнике — CatZu.
Сама идея артикуляционной гимнастики возникла потому, что масса упражнений, которые мы долго механически отрабатываем, достаточно утомительны и не вызывают эмоционального отклика у детей. Несмотря на все игровые ухищрения, для них это тяжкий труд. Родители регулярно получают домашнее задание, но оно не отрабатывается в полном объеме по схожим причинам: нет либо времени, либо профессиональных навыков для обыгрывания ситуаций.
И мы решили сделать что-то увлекательное для ребенка, что снимет нагрузку с родителей и обеспечит регулярную тренировку артикуляционной моторики.
— Для далеких от темы: чем дефектолог отличается от логопеда?
— Дефектолог — собирательный образ, его специализация состоит из нескольких направлений. И в трудовой книжке, и в дипломе указана квалификация «учитель-дефектолог», а уже внутри есть подразделения: логопед, олигофренопедагог, специалист по работе с детьми с расстройствами аутистического спектра, тифлопедагог — он работает с детьми, у которых нарушено зрение. Моя узкая специализация — сурдопедагогика. Я много времени посвятила развитию речевой функции и слуха у неслышащих детей, прошедших операцию по кохлеарной имплантации (вживление слухового аппарата. — Прим. Onliner), с тяжелыми и множественными нарушениями развития.
— Если брать детей, которые просто плохо говорят, но у них нет нюансов по слуху, зрению или развитию, какие проблемы встречаются чаще всего?
— Очень распространенный диагноз у ребенка до 3 лет — задержка речевого развития. Можно сказать, что это неуточненный диагноз. То есть мы видим, что задержка есть, но в раннем возрасте сложно провести дифференциальную диагностику и понять, чем она вызвана. Поэтому ждем 3 лет. И уже после этого вырисовывается более подробная картина: общее недоразвитие речи, алалия, дизартрия, дислалия или что-то другое. Чаще встречается общее недоразвитие речи (несоответствие словаря, грамматической структуры речи возрасту и нарушение звукопроизношения) и стертая форма дизартрии (снижение внятности, разборчивости речи при нарушенной иннервации мышц артикуляционного аппарата).
В последние годы есть тенденция к росту тяжелых диагнозов: моторная, сенсорная алалия — это глубокое недоразвитие речи, вызванное поражением речевых центров головного мозга.
Нередкое явление — дислалия, нарушение в произношении одного или нескольких звуков. То есть речь сохранена, грамматика развита, но зафиксировалось, например, неправильное горловое «р». Здесь проблема решается формированием правильного артикуляционного уклада и автоматизацией звука в слогах, словах и фразах.
— То есть причины, по которым это все возникает, совершенно разные?
— Да, причины отсутствия или искажения речи различны. Это может быть нарушение слуха, расстройства аутистического спектра, детский церебральный паралич и другие психофизиологические или соматические основания. Но CatZu можно использовать во всех этих случаях: отсутствие коммуникации при тяжелых заболеваниях делает наш речевой аппарат атоничным, тугоподвижным. Главное, чтобы ребенок был готов взаимодействовать с нашим виртуальным персонажем (котом Зу) и не имел противопоказаний к использованию гаджетов: нарушенного зрения, эпилептической готовности мозга, например.
— Как изменился CatZu со времен январской презентации на Startup Training Camp?
— Мы сделали версию, которая уже готова к запуску. Раньше мы говорили, что у нас есть MVP, а сейчас существует законченный продукт, который можно публиковать в App Store. В настоящий момент разработана версия под iOS, но команда нацелена интегрировать приложение и в Android.
— Есть нарушения, которые приложение не сможет исправить?
— Всегда есть к чему стремиться. И всегда есть тяжелые случаи, которые слабо поддаются коррекции. На это мы повлиять не сможем. Сейчас мы ориентированы на улучшение артикуляционной функции для всех детей, которым это необходимо. В принципе, и для взрослых тоже. В приложении есть блок контента для родителей, чтобы они могли заниматься в свободное время с детьми другими вопросами: грамматикой, словарным запасом, фонематическим слухом. Есть много направлений, которые мы закладываем в контент: отслеживание динамики, коммуникация с пользователем, офлайн-занятия, марафоны. А сами интерактивные упражнения даем для улучшения артикуляционных и произносительных навыков.
— Планируется ли разделение упражнений по нарушениям произношения? Допустим, не выговаривает «р» — один набор упражнений, не произносит «л» — другой пакет.
— На старте будет базовый блок для развития речевого аппарата и улучшения беглости речи, дикции. В дальнейшем мы планируем ежемесячно подгружать контент в формате подписки, где будут представлены и новый набор упражнений для решения определенных произносительных задач, новые статьи и полезные советы от специалистов. Работа уже расписана на полгода.
— Сколько стоят услуги дефектолога и во сколько обойдется подписка на CatZu?
— Разовое занятие с логопедом — в районе 23 белорусских рублей. В Украине и России примерно столько же, но это если не учитывать Москву. В Европе и США родителям, чья страховка не покрывает логопедические услуги, разовое посещение специалиста может обойтись в $50—60.
Подписка на CatZu в нашем регионе будет стоить $3—4 в месяц, за границей — порядка $10. За эту сумму пользователи будут ежемесячно получать новый контент в виде игр и рекомендаций от экспертов.
— Как вы убедите родителей в эффективности CatZu? Работа дефектолога и детское приложение воспринимаются по-разному.
— Технология компьютерного зрения может математически показать, что было и что стало: уровень подъема языка, степень его подвижности, уходит ли тремор, расширяется ли улыбка. Все эти микропараметры можно измерять. Но необходимы база данных и продолжительный период работы. Диагностическая модель — задача первого-второго года работы приложения. И затем реально вывести полноценный B2B-пакет для медицинских и образовательных центров.
Сейчас мы будем коммуницировать с родителями через опросники, ставить задачи: сделайте с ребенком определенные упражнения и отметьте результаты, позанимайтесь две недели — изучите изменения. Многолетний практический опыт показывает, что при постоянной работе с артикуляционным аппаратом результат точно будет. Это как с любой двигательной активностью: если что-то тренировать, появляются улучшения. Конечно, бывают регрессы, сложные диагнозы и ситуации. Но в большинстве случаев прогресс будет, если заниматься регулярно.
— Расскажите о своем алгоритме. Что было сложнее всего реализовать?
— Больше всего занял процесс обработки визуального материала и описания алгоритма нейросети. iOS предлагает возможность распознавания контура языка, мимических движений, но дальше он не заходит: движения языка и специфические изменения отслеживать не получается. Поэтому мы создали свой датасет, сами разметили его и создали алгоритм. Для работы нужен минимум iPhone 7 с iOS 13.
— Есть ли требования ко внешним условиям? Освещение, например.
— В сумерках, конечно, проходить задания нежелательно. Но даже при тусклом освещении приложение работает неплохо. Желательно сильно не мельтешить перед экраном. Если шевелишься немного, двигаешь головой под музыку, нейросеть все равно работает.
— Наверное, тяжело объяснить маленьким детям, что нужно сидеть неподвижно.
— У нас ориентация на детей 3—9 лет. Да, не всех малышей этого возраста легко завлечь упражнениями, но игрой соблазнить можно многих. Интерфейс рассчитан на то, что ребенку не нужно долго объяснять правила. Открывается игровое поле, и ты просто должен повторять за котом упражнения и продвигаться к игровой цели, выполняя при этом непростые манипуляции языком.
Захваченные сюжетом, дети смещают фокус с физической задачи на игровую и старательно артикулируют, забыв про тяжесть этого действия. Моему ребенку 4 года, у него чуть смазанная речь. Он увлечен CatZu, и это яркий пример того, как наше приложение поглощает внимание непоседы. Сын самостоятельно нажал Play и включился в работу. В первый день полный цикл упражнений он повторил три раза, хотя достаточно было и одного. Для меня это доказательство того, что приложение достигло своей цели — вовлеченность и интерес со стороны дошкольника.
— Вы работаете с четырьмя образовательными учреждениями Минска. Как договорились с ними? Сидят серьезные специалисты, а вы такие: «Вот, у нас тут приложение мобильное для коррекции речи…»
— Все предварительно согласовали с руководством и вышестоящими инстанциями. Провели родительское собрание: мы описали приложение, что родители получат на выходе. Но для этого необходимы такие-то условия. В основном проблем не возникало: родители, у которых есть дети с речевыми нарушениями, обычно охотно идут на контакт, когда предлагаешь им помощь. Но были и те, кто отказывался.
— Как они объясняли отказ?
— Никак, просто уходили с собрания.
— В центрах вы работаете с осени прошлого года. Каковы успехи?
— Мы начали со сбора датасета, составили анкету для понимания прогресса детей. Но потом случился коронавирус, и все замедлилось. А сейчас лето, и многие не ходят в детские сады. В начале осени обновим версию приложения (она гораздо привлекательнее предыдущей) и проанализируем результаты его использования.
— Сколько времени занимает курс по исправлению какого-нибудь речевого нарушения?
— Если говорить о нарушенном произношении без отягощающих факторов, то шесть месяцев — средний период, за который можно увидеть положительные изменения при ежедневных занятиях. Но все очень индивидуально: иногда прогресс виден уже спустя месяц, а порой годами занимаешься, а все движется очень медленно. Но главное, что движется. Заниматься нужно каждый день, регресс происходит очень быстро.
— Звуки поставлены. У пользователей будут причины продлевать подписку?
— В случае если родители захотят получать новые игры и рекомендации по речевому и познавательному развитию ребенка, то да. «Полезняшек» в этой области бесчисленное множество. Дети, помимо произношения, нуждаются в развитии грамматического строя речи, словарного запаса, мелкой моторики, памяти, внимания… Кроме того, есть ряд случаев, при которых артикуляционный аппарат необходимо постоянно держать в тонусе, и гимнастика будет востребованна даже после постановки всех звуков.
— С какими языками работает приложение?
— Артикуляционная гимнастика — это всего лишь набор упражнений. Количество их ограничено, и они универсальны для всех языков. Перевести контент не проблема. Речевые нарушения у всех детей имеют одинаковую природу. Поэтому приложение подходит для любой языковой группы.
— В разных языках одни и те же звуки принято произносить по-разному: звук «р» в русском и английском ведь звучит неодинаково. Приложение это учитывает?
— Да, конечно. Просто на старте будет базовый комплекс для общего развития артикуляционных мышц, а в дальнейшем уже будем фокусироваться на различных аспектах. Логопед знает не только звук, который хочет услышать при постановке, но и положение языка, которого хочет добиться. Например, французский горловой «р» (звучит примерно как «гхрэ». — Прим. Onliner) — здесь поднимается и вибрирует корень языка. В русском же для звука «р» нужно, чтобы поднялся и завибрировал кончик языка. Для этих разных звуков нужны разные упражнения и логопедические приемы работы. В первом случае — для подъема корня языка, во втором — для укрепления и подъема передней части языка.
— Инвестиции привлекали?
— Диалоги шли, интерес со стороны инвесторов был и сохраняется до настоящего времени. Но, наверное, мы сами не были готовы к инвестициям: не понимали, зачем они нам на этапе разработки, если все ресурсы для этого есть у нас самих. Да, можно было бы принять инвестиции, и мы бы значительно ускорились. Но для распределенной команды, имеющей другие основные места работы, мы и так неплохо справились за год, разработав полноценный продукт, готовый к запуску.
Инвестиции понадобятся во время маркетинговых исследований — здесь уже без средств не обойтись.
— Когда релиз?
— Сейчас у нас стадия технического лонча. Мы набираем группу для тестирования и приглашаем всех желающих заполнить заявку на нашем сайте: хотим посмотреть, как справимся с нагрузками при большом количестве пользователей, изучим отзывы, подправим какие-то вещи — и будем запускать CatZu. Релиз осенью.
Читайте также:
Хроника коронавируса в Беларуси и мире. Все главные новости и статьи здесь
Наш канал в Telegram. Присоединяйтесь!
Быстрая связь с редакцией: читайте паблик-чат Onliner и пишите нам в Viber!
Самые оперативные новости о пандемии и не только в новом сообществе Onliner в Viber. Подключайтесь
Перепечатка текста и фотографий Onliner без разрешения редакции запрещена. nak@onliner.by