Скорость синтеза речи составляет около 32 слов в минуту
Американские ученые установили 45-летнему мужчине с боковым амиотрофическим склерозом, который страдает от паралича конечностей и потери речи, нейроинтерфейс, позволяющий декодировать нейронную активности в коре головного мозга в речь. Как сообщается в The New England Journal of Medicine, точность декодирования составляет 97,5 процента в течение 8,4 месяца после имплантации. Пациент использует его для самостоятельного общения со скоростью примерно 32 слова в минуту.
Люди с заболеваниями, которые нарушают речь — например, инсульт или боковой амиотрофический склероз (БАС), — подвергаются высокому риску социальной изоляции, депрессии и снижения качества жизни. В целом, потеря возможности общаться может непосредственно повлиять на то, будет ли человек продолжать лечение или откажется от него при распространенной форме БАС. Хотя существуют вспомогательные коммуникационные технологии, такие как айтрекеры, которые позволяют поддерживать определенный уровень коммуникации, скорость передачи информации у них остается достаточно низкой, а при прогрессирующей потери мышечного контроля они и вовсе оказываются бесполезными.
Нейроинтерфейсы, связывающие участки головного мозга с компьютерным модулем, могут напрямую декодировать речь пользователя на основе нейронных сигналов. Несколько групп ученых разрабатывали различные подходы имплантации и развития языковых нейроинтерфейсов, однако средняя частота ошибок в словах (то есть процент слов, которые были расшифрованы неправильно) оставалась на уровне 25 процентов.
Группа ученых под руководством Николаса Карда (Nicholas Card) из Калифорнийского университета сообщила об успешной имплантации и работе внутрикоркового речевого нейроинтерфейса с низкими требованиями к обучающим данным, который в конечном итоге обеспечил доступ к словарному запасу в 125 тысяч слов у 45-летнего мужчины (левши) с прогрессирующим БАС и тяжелым нарушением речи. Первые симптомы заболевания появились за пять лет до настоящего исследования, на момент включения он не мог самостоятельно передвигаться и зависел от других в управлении своей инвалидной коляской с электроприводом. У него сохранялись движения глаз и шеи, но были ограничены движения ротоглотки, что приводило к монотонной, негромкой, гнусавой речи, которую не могли разобрать сторонние люди.
В июле 2023 года пациенту имплантировали четыре матрицы микроэлектродов NeuroPort Array в левую прецентральную извилину. Каждая матрица микроэлектродов имеет размеры 3,2 × 3,2 миллиметра и состоит из 64 электродов, введенных на 1,5 миллиметра в кору головного мозга с помощью высокоскоростного пневматического установщика. Каждый электрод имеет один регистрирующий участок диаметром приблизительно 50 микрометров и предназначен для записи сигналов с одного или небольшого числа кортикальных нейронов. Две матрицы подключены к одному чрескожному разъему, предназначенному для передачи сигнала на внешние компьютеры. Пациента выписали на третий день после операции.
Спустя 25 дней врачи провели первые тестирования нейроинтерфейса. На первом занятии участник попытался произнести предложенные предложения, составленные из 50 слов, которые использовались для дальнейшей калибровки. Затем ученые расшифровали активность коры головного мозга участника в режиме реального времени, когда он пытался заговорить, и точность расшифровки составила 99,6 процента. На втором исследовательском занятии точность составила 100 процентов. При расширении словарного запаса до 125 тысяч слов и дополнительных занятиях точность достигла уровня 97,5 процента через восемь месяцев после имплантации. Средняя скорость самостоятельной речи составила 31,6 слова в минуту.
Во время разговорной речи нейропротез определял, когда участник начинал или прекращал говорить. На последующих сеансах пациент использовал нейроинтерфейс для личных бесед, передав в общей сложности 22679 предложений в течение 72 сеансов. Средняя частота ошибок в словах во время выбранных сеансов в режиме разговора составила 3,7 процента. Самый длительный непрерывный период, в течение которого речевой нейроинтерфейс использовался в режиме разговора, составил 7,7 часа. Участник использовал режим беседы для выполнения различных действий — от общения с исследовательской группой, семьей и друзьями до участия в совещаниях по видеосвязи и написания документов и сообщений электронной почты. Используя нейропротез, участник поделился своими взглядами на использование системы.
Это исследование показывает, что при меньшем объеме обучающих данных можно достичь высокоточного декодирования у речевых нейроинтерфейсов. Поскольку в этом исследовании принимал участие один человек, неясно, можно ли ожидать аналогичных результатов у будущих пользователей. Кроме того, у этого пациента сохранялись некоторые остаточные функции речи, которые, возможно, повлияли на результаты тестирования. Поэтому этот нейроинтерфейс будет подвергаться дополнительным испытаниям.
Ранее мы рассказывали, что пациенты с имплантированным чипом компании Neuralink смог поиграть в шахматы.