Мозговой имплантат превращает мысли в речь в режиме реального времени

Женщина, которая потеряла способность говорить в результате перенесенной травмы, смогла вновь превращать свои мысли в слова в режиме реального времени благодаря новому интерфейсу мозг-компьютер (BCI). Ученым удалось практически устранить задержку, что позволило синтезировать речь, близкую к естественной.

Такая технология уже существовала, однако ранее преобразовывать мысли в речь удавалось лишь с задержкой. Большинство существующих методов требовали анализа всего блока текста, прежде чем программное обеспечение сможет расшифровать его значение и перевести в речь. Это не только неестественно, но и может вызывать раздражение и дискомфорт у тех, кто пользуется системой, рассказывается в публикации Science Alert.

Чтобы преодолеть это препятствие, исследователи обучили нейронную сеть на активности сенсомоторной коры 47-летней участницы, пока она беззвучно «говорила» 100 уникальных предложений из словарного запаса, состоящего из чуть более 1000 слов.

В ходе эксперимента испытуемая беззвучно «произносила» предложения, которые появлялись на экране. Устройство считывало ее нейронные сигналы каждые 80 мс, и в результате система воспроизводила от 47 до 90 слов в минуту, что приближается к скорости естественного разговора (примерно 160 слов в минуту).

Чтобы голос женщины звучал естественно, ученые синтезировали речь, обучив алгоритмы ИИ на свадебных видеозаписях, снятых до получения травмы. За счет этого имплантат воспроизводил речь голосом, похожим на ее собственный.

Для людей, чья способность воспроизводить звук была отрезана от речевых центров мозга, будь то из-за бокового амиотрофического склероза или поражения критических участков нервной системы, мозговые имплантаты в сочетании со специализированным программным обеспечением обещают значительное улучшение качества жизни.

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро