Внутреннюю речь декодировали из активности нейронов супрамаргинальной извилины

Нейробиологи из США декодировали внутреннюю и вокализованную речь двух пациентов с тетраплегией и электродами, имплантированными в заднюю теменную кору, в область супрамаргинальной извилины. По нейронной активности пациентов ученым удалось восстановить шесть слов и два псевдослова, которые участники произносили про себя. Чтобы натренировать декодер, каждое слово участникам пришлось произнести про себя от 16 до 20 раз. Точность декодирования в реальном времени достигла 79 процентов у одного пациента и только 23 процентов у второго. Эти различия, по словам ученых, могут быть связаны с анатомическими особенностями, количеством электродов и местом их расположения. Работа опубликована в Nature Human Behaviour.

На сегодняшний день разработано немало нейроинтерфейсов, которые позволяют декодировать речь по нейронной активности. Почти все они инвазивные, то есть требуют имплантации электродов прямо на кору мозга. Часто электроды имплантируют в речевые области моторной коры (или записывают данные с электродов, уже установленных в нужных областях — например, при эпилепсии). Во время обучения таких декодеров пациентов просят произносить слова или хотя бы пытаться это делать. Такие декодеры весьма эффективны: в прошлом году две группы ученых смогли увеличить скорость декодирования до 62 и 78 слов в минуту, словарь первого декодера при этом содержал 125 тысяч слов, а второго — 1024 слова. Однако многие парализованных пациенты не могут говорить или даже беззвучно артикулировать. В таких случаях можно пытаться декодировать внутреннюю речь, то есть текст, произнесенный про себя, однако пока такие попытки были не слишком эффективны и ограничивались лишь несколькими словами.

Ученые из Калифорнийского технологического института под руководством Сары Вандельт (Sarah Wandelt) попытались декодировать внутреннюю речь двух пациентов с имплантированными в мозг электродами. Массивы электродов у двух взрослых мужчин с тетраплегией, которые перенесли ранее травму спинного мозга, были расположены в районе супрамаргинальной извилины (части задней теменной коры) и в первичной соматосенсорной коре. Ранние исследования показали, что нейроны супрамаргинальной извилины активны во время говорения. Исследователи предположили, что по активности этих нейронов им удастся декодировать и внутреннюю речь, в то время как нейроны соматосенсорной коры будут активироваться только во время вокализованной речи. Чтобы проверить это, ученые выбрали шесть слов и два псевдослова, которые участники читали с экрана или слышали из динамика. После этого мужчины должны были произнести слово про себя (не двигаясь и не артикулируя), а затем — вслух. Данные с электродов записывались в течение всего эксперимента.

Как и ожидалось, нейроны соматосенсорной коры реагировали только во время вокализованной речи, и паттерны активации не различались в зависимости от слова. Нейроны супрамаргинальной извилины активировались как во время вокализованной, так и во время внутренней речи. Чтобы предсказать слова по нейронной активности, ученые идентифицировали нейроны, которые избирательно активировались в ответ на разные слова, произнесенные про себя или вслух. У первого пациента таких нейронов было больше — это могло быть связано с тем, что массивы электродов располагались в разных областях супрамаргинальной извилины пациентов, а также с тем, что у второго мужчины электродов было меньше.

Слова, которые первый пациент произносил про себя, удалось декодировать с точностью 55 процентов в автономном режиме (когда данные с электродов расшифровывались после того, как были записаны) и 79 процентов в режиме онлайн. Для достижения такой точности онлайн-декодирования потребовалось 16–20 обучающих испытаний на каждое слово. Если тренировок было меньше (8–14), точность декодирования достигала 59 процентов. Декодирование вокализованной речи этого пациента тоже оказалось успешным: в 74 процентах случаев по нейронной активности можно было правильно предсказать все восемь слов.

Результаты второго пациента были не такими впечатляющими: точность автономного декодирования внутренней речи составила 24 процента, а онлайн — 23 процента, несмотря на большое количество обучающих испытаний (16–32). При этом два слова из восьми распознавались лучше других. По всей видимости, электроды этого пациента захватывали мало нейронов, которые избирательно активировались в ответ на разные слова. Впрочем, точность все еще была выше уровня вероятности (12,5 процента).

Исследователи также обнаружили, что активность нейронов супрамаргинальной извилины во время чтения слова, внутренней и вокализованной речи очень схожа: примерно 82-85 процентов нейронов, активных во время внутренней речи, были активны и в тот момент, когда участники произносили слова вслух. А 78 процентов нейронов активировались как при проговаривании слов про себя, так и во время чтения этих слов. А вот во время прослушивания тех же слов нейронная активность значительно отличалась.

Авторы пришли к выводу, что активность нейронов супрамаргинальной извилины во время вокализованной речи больше связана с языковыми процессами, чем с двигательными сигналами. Большая часть нейронов этой области была также активна и при чтении слов, и при внутренней речи, и из активности этих нейронов удалось декодировать несколько произнесенных про себя слов. Эти результаты указывают на то, что имплантация электродов в область супрамаргинальной извилины (или задней теменной коры вообще) может помочь заговорить тем пациентам, которые не в состоянии артикулировать даже беззвучно.

В прошлом году ученые разработали неинвазивный фМРТ декодер, который смог реконструировать непрерывный текст из корковых семантических представлений. Испытуемые слушали истории, смотрели видеоролики или сочиняли в голове рассказ, а декодер, который обучали в течение 16 часов, восстанавливал смысл услышанного, увиденного или придуманного. Однако в этом случае речь не шла о точном декодировании слов или предложений — декодер восстанавливал приблизительный смысл историй.