Машинное обучение и УЗИ помогут освоить иностранный язык и восстановиться после операции
Группа ученых из Франции и Италии разработала систему визуализации движений языка и гортани в реальном времени, для чего используется аппарат УЗИ и программное обеспечение, обрабатывающее поступающие данные. Исследование опубликовано в Speech Communication.
При изучении иностранных языков человеку порой бывает сложно понять, как именно издать конкретный звук. Устное описание («сделайте язык ложечкой») не всегда приводит к нужному результату. Также можно показать учащемуся изображение, схематично показывающее нужное положение языка, но не всем удается уверенно соотнести картинку с движениями собственного языка. Похожая задача стоит перед врачом и пациентом при реабилитации после хирургического вмешательства, если был затронут язык.
В новой работе исследователи предложили преодолеть этот барьер с помощью аппапата УЗИ и машинного обучения. Для тренировки алгоритма использовались показания УЗИ, записанные с помощью тренированного человека, который правильно произносил слоги и издавал отдельные звуки. Для сопоставления УЗИ с движениями языка при обучении системы также использовались данные, полученные с помощью МРТ, на которых движения «в разрезе» отслеживались с помощью трех маячков, расположенных на корне, в середине и на кончике языка.
При этом система, по утверждению авторов, не требует полноценного переобучения под нового пользователя — достаточно небольшой калибровки с учетом морфологии, для чего нужно произнести несколько тестовых фраз. После этого система готова в режиме реального времени схематично отображать работу речевого аппарата при артикуляции. При ошибочной артикуляции программным обеспечением каких-либо фонем исследователи предлагают в качестве одного из решений вручную настраивать параметры отображения «говорящей головы».
На данном этапе работа системы носит скорее демонстрационный характер и тестировалась в лаборатории, однако в будущем исследователи планируют продолжить тестирование системы на нескольких людях, которые действительно будут изучать незнакомый язык, а также на пациентах, перенесших операцию на языке.
Ранее другая группа исследователей использовала машинное обучение для того, чтобы оценить возможную продолжительность жизни больных с легочной гипертензией.
Мнение редакции может не совпадать с мнением автора
В сентябре австралийские врачи сообщили, что обнаружили в мозге жительницы Нового Южного Уэльса личинку паразитического червя Ophidascaris robertsi. Взрослые особи этого червя живут в пищеводе и желудке ковровых питонов, а у человека их никогда не находили. Больше года пациентку лечили от пневмонии — учитывая, что жаловалась она на сухой кашель и боли в животе. Но когда у нее усилилась депрессия и развилась забывчивость, ей сделали МРТ головного мозга и биопсию и выявили истинную причину недомогания. Личинку из мозга извлекли, и через полгода проблемы с забывчивостью и депрессией частично разрешились. В новом эпизоде нашего подкаста редактор N + 1 Сергей Коленов обсуждает этот необычный случай с директором Института медицинской паразитологии, тропических и трансмиссивных заболеваний имени Марциновского Сеченовского Университета, членом-корреспондентом РАН Александром Лукашевым. Александр рассказывает, как этот червь мог попасть в мозг человека, почему так тяжело диагностировать экзотические паразитарные инфекции и как на их распространение влияют изменения климата. Выпуск доступен везде, где вы привыкли слушать подкасты: на Яндекс.Музыке, Apple Podcasts, Google Podcasts, Звуке, Spotify. Listen to Паразитического червя питонов нашли в мозге австралийки , Александр Лукашев on Yandex Music