Она расшифровала тона и слоги независимо друг от друга
Исследователи из Китая предложили модульную многопоточную нейронную сеть, которая на основе нейронных записей синтезировала речь на тоновом языке. С ее помощью удалось декодировать восемь тоновых слогов китайского языка. Авторы показали, что их метод точнее, чем классические базовые методы глубоких нейронных сетей. Исследование опубликовано в Science Advances.
Для пациентов с потерей речи пробуют разрабатывать нейроинтерфейсы, которые преобразуют сигналы мозга в текст или в синтезированную речь. Для этого людей могут просить произнести что-то (если это невозможно, то хотя бы представить, что произносят), и записывают активность моторной коры. Во время артикуляции в ней активируются области, отвечающие за движение языка, губ, челюстей, гортани. Нейронные сигналы именно из этих областей нужны, чтобы затем на их основе синтезировать речь.
С тоновыми языками это проделать сложнее, поскольку один слог на таких языках может иметь несколько значений в зависимости от высоты тона. Различия в артикуляции тоновых слогов очень тонкие, то есть декодирование такой речи должно быть достаточно точным, чтобы хорошо различать моторные сигналы, связанные с тоном — в основном это сигналы от гортани.
Янь Лю (Yan Liu) из Национального центра неврологических расстройств в Шанхае и его коллеги разработали нейронную сеть, которая синтезирует речь из инвазивных записей мозга.
Электроды для считывания электрокортикограммы (ECoG) временно разместили на поверхности мозга пяти пациентов (четырех мужчин и одной женщины) во время операций по удалению опухоли мозга. Во время операций пациенты были в сознании — это было необходимо, чтобы не задеть функционально-значимые области мозга. Участников попросили произносить по очереди восемь тональных слогов на севернокитайском языке — четыре тона слога ma и четыре тона слога mi.
Часть электродов различало слоги, другая часть тона, и совсем немного — и то, и другое. Большинство электродов не различало ни слоги, ни тона — то есть считывали сигналы нейронов, которые активировались, когда человек что-то произносил. С этих электродов можно было получить информацию о тембре, интенсивности и продолжительности звука, что не менее важно для синтеза речи.
Чтобы превратить сигналы из записей ECoG обратно в речь, ученые разработали модель многопоточной сверточной нейросети (CNN) с модулями долгой краткосрочной памяти (LSTM). Модель состояла из двух частей — генератора и синтезатора. Генератор обрабатывал сигналы с электродов, различающих тона и слоги, и на их основе создавал метки слогов и тонов. Синтезатор объединял эти метки с сигналами, полученные от электродов, которые не различали тона и слоги, и создавал мел-спектрограмму речи. Далее эту спектрограмму ученые преобразовывали в звуковую волну с помощью алгоритма Гриффина — Лима.
Для создания меток слогов ученые использовали последовательную сеть CNN-LSTM, а для создания меток тонов — параллельную сеть CNN-LSTM, то есть тона и базовые слоги декодировались отдельно. Это позволило увеличить среднюю точность декодирования тонального слога до 55,7–75,6 процента. Максимальный уровень точности составил 91,4 процента. Как средняя, так и максимальная точность были значительно выше, чем у всех базовых моделей глубоких нейронных сетей. Для сравнения, сверточная нейросеть VGG16 обеспечивает среднюю точность от 15,6 до 33,4 процента, в то время как уровень шанса составляет 12,5 процента.
Искажение синтезированной речи оценивали с помощью мел-кепстрального искажения (Mel cepstral distortion, MCD), которое может отражать различия в тоне. Чем ниже MCD, тем меньше искажена речь. Медианное значение MCD для пяти участников составило от 2,67 до 3,19 децибел. А MCD четырех тонов — от 2,53 до 3,20 децибела. Чтобы речь можно было распознать, это значение не должно превышать 8 децибел.
Также авторы проверили, смогут ли носители китайского определить тона синтезированных слогов. Синтезированную и реальную речь слушали 31 человек. Средний показатель разборчивости для синтезированных тонов составил от 81,7 до 92,3 процента, а для реальной человеческой речи — от 85,3 до 93,1 процента.
В дальнейшем, считают авторы, их способ проектирования нейронной сети сможет помочь декодировать непрерывную речь на китайском или других тональных языках.
Исследователи пробуют декодировать речь и другими способами. Ученые из Америки использовали для этого неинвазивную фМРТ и смогли таким образом расшифровать целые истории, которые участники слушали, смотрели или представляли.
Могут ли астроциты передавать нервный импульс
Недавно в журнале Nature вышла статья: ученые из Италии и Швейцарии рассказали, что нашли в мозге взрослых мышей астроциты, которые выделяют нейромедиатор глутамат подобно нейронам. Когда этим астроцитам мешали выделять глутамат, у мышей нарушалась память и усиливались приступы эпилепсии. Получилось, что астроцитарный глутамат напрямую влиял на синаптическую передачу. То есть не только нейроны участвуют в передаче нервного импульса? А если так, то астроциты могут быть причиной болезней — и, соответственно, мишенью для терапии? Это что-то новое? Долгое время считалось, что выделять нейромедиаторы умеют только нейроны. Концы их отростков образуют синапсы — особые межклеточные контакты, где выделенный одним нейроном нейромедиатор воздействует на рецепторы другого и вызывает в нем электрический импульс. Так сигналы поступают от одного нейрона к другому и циркулируют внутри нервной системы. Другие клетки тоже обмениваются сигналами — например передают друг другу ионы и небольшие молекулы через свои межклеточные контакты. Но нервный импульс передают только нейроны. И при функциональных или когнитивных неполадках поломку первым делом ищут в них. В мозге, конечно, много клеток помимо нейронов — в основном [note=3170|глиальных]. Например, астроциты — глиальные клетки с кучей отростков, которые окружают нейроны и синапсы. Раньше считалось, что они выполняют только вспомогательные функции: поставляют нейронам питательные вещества и служат им физической опорой. Но в конце прошлого века ученые выяснили, что астроциты участвуют в формировании синапсов и регулируют синаптическую передачу. В частности, чтобы остановить сигнал, эти клетки поглощают лишний глутамат, который выделили нейроны. А если отделить нейроны от астроцитов и других глиальных клеток, передача сигналов между нейронами нарушается. То есть стало ясно, что синаптическая передача зависит от астроцитов — хотя как полноценных участников процесса их никто не рассматривал. Трехсторонний синапс Позже у астроцитов обнаружили и другие свойства. В 1995 году ученые нашли (1, 2) в астроцитах рецепторы глутамата mGluR5. Такие рецепторы есть и в нейронах — они, согласно названию, реагируют на глутамат. Когда глутамат связывается с рецепторами, в цитоплазме клетки повышается концентрация ионов кальция. Кальций — главный ион, участвующий в возбуждении нейронов и передаче нервного импульса. Он может поступать в клетку через кальциевые каналы наружной мембраны или высвобождаться из эндоплазматического ретикулума непосредственно внутри клетки. Когда концентрация ионов кальция в нейроне увеличивается, выделяется нейромедиатор. В экспериментах глутамат активировал эти рецепторы в астроцитах, и в них тоже повышался уровень кальция — как в нейронах. Еще позже выяснилось, что в результате астроциты высвобождают различные активные вещества: тот же глутамат, а еще — АТФ и D-серин (эти молекулы тоже могут играть роль нейромедиаторов). Выделение астроцитами нейромедиаторов назвали глиотрансмиссией — по аналогии с нейротрансмиссией, где передатчик — нейрон. Когда ученые стимулировали один астроцит, волны кальция распространялись и среди соседних — что подтверждало передачу сигнала между глиальными клетками. Обнаружив, что астроциты тоже могут и выделять [note=3171|нейромедиаторные молекулы], и реагировать на них, ученые предложили концепцию «трехстороннего синапса», где астроцит стал третьим участником синаптической передачи. Исследователи стали повторять прошлые эксперименты и придумывать новые — нужно было убедиться, что астроцит действительно может работать «почти как нейрон», а сам нейрон — реагировать на глиотрансмиттеры, выделяемые астроцитом. Чтобы доказать, что клетка может выделять нейромедиатор, недостаточно обнаружить в ней кальциевую активность. Еще не обойтись без везикул — мембранных пузырьков, в которых молекула-нейромедиатор перемещается из клетки наружу. И в 2004 году в выделенных из зрительной коры мозга крыс астроцитах нашли белок-транспортер VGLUT, который переносит глутамат в такие пузырьки. А в 2012 году в астроцитах крысиного мозга обнаружили синаптические микровезикулы, в которых глутамат накапливается почти в тех же концентрациях, что и в синаптических пузырьках нейронов: 45 миллимоль на литр в астроцитах и 55 миллимоль на литр — в нейронах. Появились и доказательства, что выделяемый астроцитами глутамат влияет на нейроны. Ученые стимулировали астроциты, и, когда те выделяли нейромедиатор, вероятность, что соседние нейроны его выделят в ответ, увеличивалась. А еще астроцитарный глутамат вызывал возбуждение нейронов, которое сохранялось, даже когда синаптическая активность была заблокирована. Все выглядело так, будто астроцит — действительно полноправный участник синаптической передачи, а концепция трехстороннего синапса находила все больше сторонников. Доверяй, но проверяй С доказательствами появились и сомнения. Некоторые ученые предположили, что астроциты, которые высвобождают глутамат в лабораториях, могут не делать этого в физиологических условиях. Или что этот глутамат не так уж сильно влияет на синаптическую активность в живом мозге. Большинство исследований проводилось in vitro или in situ — на выделенных или культивированных клетках или на срезах ткани мозга. А для стимуляции часто применялись вещества, которые активируют рецепторы и в астроцитах, и в нейронах, — и тогда сложно было доказать, что на нейронную активность влияет именно астроцитарный глутамат. Исследователи стали искать методы, во-первых, более избирательные, а во-вторых, способные имитировать естественные процессы. В 2007 году ученые из Университета Северной Каролины создали трансгенных мышей, которые экспрессируют в астроцитах искусственный рецептор Gq-GPCR. Активация этого рецептора повышала уровень кальция в клетке по аналогии с активацией рецепторов глутамата. Но глиотрансмиссию ученые не обнаружили, как и изменений в синаптической активности и пластичности. Иными словами, повышение уровня кальция в одних только астроцитах не вызвало никаких дополнительных эффектов. Семь лет спустя эта же группа провела эксперимент, в котором из астроцитов мышей удалили нативный рецептор IP3R2 — один из тех, которые отвечают за повышение концентрации кальция в клетке. Это частично лишило астроциты кальциевой активности и глиотрансмиссии, но никаких поведенческих аномалий у таких животных не было. Авторы пришли к выводу, что синаптическая передача нарушена не была. Еще раньше опровергли историю с D-серином (еще одним предполагаемым глиотрансмиттером): более точные методы показали, что его в основном выделяют сами нейроны. А поскольку доказательства того, что астроциты выделяют глутамат, были получены с использованием тех же подходов, то и они явно требовали перепроверки. Кроме того, исследователи заметили, что в здоровых мышиных астроцитах не всегда удается наблюдать волны кальция, необходимые для высвобождения глутамата. А в 2013 году поискали рецепторы глутамата в астроцитах взрослых и молодых мышей — и нашли их только в молодых клетках. Оказалось, что после третьей недели астроциты перестают экспрессировать гены рецепторов. В астроцитах взрослого человеческого мозга экспрессию рецепторов глутамата тоже не обнаружили. В более позднем исследовании транскриптома и протеома зрелых мышиных астроцитов ученые даже не нашли в них везикул или хотя бы необходимого количества РНК везикулярных транспортеров глутамата. Тогда ученые предположили, что трехсторонний синапс работает только в развивающемся мозге, и снова отказали астроцитам в самостоятельности, пока оставив их в роли вспомогательных клеток. Третий не лишний Разрешить возникший спор о том, способны ли все-таки астроциты во взрослом мозге выделять глутамат, взялся Андреа Вольтерра (Andrea Volterra) из Лозаннского университета. Вольтерра был одним из первых исследователей, кто в конце прошлого века показал, как активация рецепторов глутамата в астроцитах приводит к глиотрансмиссии. Теперь с коллегами из Италии и Швейцарии он обратился к базам данных секвенирования РНК единичных клеток гиппокампа мышей. Они идентифицировали в гиппокампе девять разных кластеров астроцитов. Один кластер избирательно экспрессировал гены, необходимые для зависимого от кальция высвобождения глутамата, — в том числе ген Slc17a7, кодирующий VGLUT1 (тот самый белок-транспортер). Ученые визуализировали эту субпопуляцию в срезах гиппокампа взрослых мышей и увидели, что астроциты действительно экспрессируют гены, необходимые для высвобождения глутамата. Чтобы убедиться, что клетки субпопуляции в самом деле высвобождают глутамат, ученые встроили в них [note=3172|рецепторы, реагирующие только на синтетические препараты]. Если в результате активации этих рецепторов выделялся глутамат, ученые наблюдали флуоресценцию. Чтобы удостовериться, что это не тот глутамат, который выделяют нейроны, срезы обработали синаптическими блокаторами, действующими прицельно на нейроны. В результате в ответ на стимуляцию рецепторов во всех визуализированных астроцитах увеличивался уровень кальция, но глутамат выделяла только треть клеток — это и была та самая субпопуляция. Когда ученые стимулировали нативные рецепторы астроцитов, они видели то же самое: высвобождение глутамата происходило не во всех клетках. Если ген нативного рецептора удаляли, астроциты больше не реагировали на стимуляцию. Они переставали выделять глутамат и в том случае, когда ученые выключали везикулярный транспортер глутамата VGLUT1 — то есть мешали везикулам заполниться нейромедиатором. Затем авторы перешли к экспериментам на бодрствующих трансгенных мышах. Если астроцитам мешали выделять глутамат, интенсивность синаптической передачи снижалась, а у мышей ухудшалась память: спустя сутки они хуже помнили неприятный стимул. Кроме того, при отключении глиотрансмиссии у грызунов усиливались эпилептические приступы, которые ученые вызывали с помощью препаратов. Общая продолжительность приступов была такой же, как у контрольных животных, но отдельных эпизодов (внутри каждого приступа) у мышей с выключенным геном было больше, и они были длиннее, а промежутки между ними — короче. То есть глиотрансмиссионный путь передачи импульса если и не критичен для работы мозга, то точно важен. Наконец, ученые проверили, есть ли такие же астроциты и в других частях мозга. Для этого они изучили нейронную цепь, которая соединяет черную субстанцию с дорсальным полосатым телом. Эта цепь контролирует произвольные движения, а ее дегенерацию наблюдают при болезни Паркинсона. Астроциты этой области экспрессировали в основном другой транспортер глутамата — VGLUT2. Когда ген этого белка удалили, глутамат из астроцитов выделяться перестал, а нейроны рядом стали гиперактивны. Тогда исследователи попробовали простимулировать рецепторы глутамата на самих нейронах (глиотрансмиссии все еще не было) — и активность нейронов пришла в норму. А когда рецепторы на нейронах, наоборот, заблокировали, клетки возбуждались еще сильнее. Авторы пришли к выводу, что именно глиотрансмиссия не дает нейронам этой цепи гиперактивироваться — то есть глутамат, выделенный астроцитами, связывается с рецепторами нейронов и снижает их возбуждение. Получается, в мозге мышей действительно есть астроциты, высвобождающие глутамат. Это высвобождение зависит от уровня кальция в клетке и влияет на нейронную активность в норме и при патологии. Проанализировав базы данных секвенирования РНК человеческих астроцитов, авторы нашли глутаматергические астроциты и у них, но эксперименты пока не ставили. Что теперь? Вольтерра с коллегами доказали, что глиотрансмиссия есть даже во взрослом мозге мышей. Значит, трехсторонний синапс работает. Правда выделять глутамат способны не все астроциты, а лишь определенная субпопуляция, экспрессирующая все нужные для этого гены. Скорее всего, именно поэтому в предыдущих исследованиях глиотрансмиссию обнаруживали не всегда. То, что глиотрансмиссия влияет на нейропередачу, тоже удалось доказать. Глутамат астроцитов может помогать нейронам возбуждаться — и таким образом поддерживать работу памяти, а может — тормозить активность нейронов и так снижать интенсивность приступов эпилепсии. Пока непонятно, почему возбуждающий нейромедиатор — еще и в малых количествах — способен так по-разному влиять на нейроны. Также неизвестно, как распределены глутаматергические астроциты по мозгу и насколько ощутимо влияние глиотрансмиссии на работу мозга и поведение. Возможно, в будущем глутаматергические астроциты смогут стать терапевтической мишенью и помогут нам лечить расстройства памяти (ведь не зря эти астроциты сосредоточены именно в гиппокампе), болезнь Паркинсона и эпилепсию. Но до тех пор многое предстоит выяснить. Пока понятно одно: некоторые астроциты могут передавать сигнал, подобный синаптическому. А значит, когда речь заходит о нарушениях синаптической передачи, не всегда виноваты нейроны.