А на экране компьютера создали их анимированный аватар
Американские ученые создали систему, которая позволяет не только воспроизводить речь парализованных людей, но и считывать их жесты. Данные от единого мозгового имплантата, закрепленного над сенсомоторной корой, передаются компьютеру, который выводит на экран анимированный аватар пациента. Работу опубликовали в Nature Neuroscience.
Обширный инсульт может привести к тому, что человек теряет способность общаться с окружающими — не может не только говорить, но и двигать конечностями. Медики разрабатывают для таких людей устройства, позволяющие считывать нейронную активность и перекодировать ее в слова. Мы рассказывали о мозговом имплантате, который несколько лет назад установили парализованному мужчине. Устройство считывало нейронную активность в моторных областях мозга, ответственных за речь, а компьютер затем преобразовывал ее в отдельные короткие фразы.
Теперь американские врачи во главе с Эдвардом Чангом (Edward F. Chang) из Калифорнийского университета в Сан-Франциско расширили возможности взаимодействия имплантата с компьютером и смогли передать не только речь участников, но еще и жесты. Для этого они закрепили имплантат над сенсомоторной корой и продемонстрировали, что он способен улавливать сигналы, связанные с различными типами движений, включая движения верхних конечностей и движения рта и лица, участвующие в речи (например, пожимание плечами или кивки головой).
Затем для двух участников эксперимента ученые создали цифровой анимированный аватар в полный рост. Пациентов просили показать определенные жесты, ответить на реплики во время диалога или сделать и то, и другое одновременно. В ходе экспериментальной сессии мозговая активность передавалась в модель речи и в модель жестов на компьютере. Модели обучили с использованием архитектуры сверточной рекуррентной нейронной сети.
Прогнозируемая речь затем отображалась в нижней части экрана в виде текста, а прогнозируемый жест воспроизводился аватаром. Обе модели — и речевая, и жестовая — способны распознавать состояние покоя (отсутствие попыток произнесения речи или выполнения жеста), что позволяет системе работать как только во время речи, так и во время изолированных жестов, либо при их одновременном выполнении.
Ученые улучшили и точность распознавания: для одного участника она составила 85 процентов для жестов и 75 процентов для речи, а для второго участника достигла 100 процентов как для речи, так и для жестов (в предыдущей работе точность распознавания была 74,4 процента). Впрочем, до внедрения технологии в клиническую практику ей еще предстоит показать себя в более крупных испытаниях. Кроме этого, ученые хотят расширить спектр распознаваемых слов и жестов.
Медики пытаются помочь парализованным людям не только говорить, но и ходить. Мы рассказывали о нейроинтерфейсе, соединяющем спинной и головной мозг, который позволил пациенту с повреждением спинного мозга лучше ходить.