Нейросеть смогла предсказать песню амадины за доли секунды до ее исполнения

Американские исследователи создали систему, которая с помощью нейроинтерфейса считывает данные об активности мозга птицы и может предсказать, какую песню она будет петь через доли секунды. Статья опубликована на сервере препринтов BiorXiv.org.

Нейроинтерфейсы (интерфейсы типа «мозг-компьютер») предназначены для считывания данных об активности мозга. Благодаря нейроинтерфейсам можно, например, управлять компьютерами или роботизированным устройствами посредством сигналов мозга. С помощью имплантируемых электродов или неинвазивных методов (ЭЭГ, МЭГ, фМРТ и другие) управляющие команды мозга регистрируются и передаются на компьютер, где преобразуются в понятные команды.

Чтобы продвинуться в создании нейроинтерфейсов для считывания или предсказания речи, ученые тестируют технологию на животных. Авторы новой работы создали интерфейс «компьютер-мозг» для зебровой амадины, с помощью которого программное обеспечение предсказывает по активности мозга птицы, какую песню она будет петь.

Как и человеческая речь, песни амадин имеют определенную структуру. Кроме того, анатомия вокализации птиц хорошо изучена, что позволяет построить точную и простую биофизическую модель их вокального органа (сиринкс). В отличие от млекопитающих, у птиц нет голосовых связок. Они издают звуки посредством вибраций стенок сиринкса, которые возникают при выдохе.

Исследователи имплантировали силиконовые электроды мужским особям зебровой амадины. После разработчики одновременно следили за активностью области мозга птиц (HVC), отвечающей за производство звуков, и записывали их песни. Данные использовались для тренировки LSTM-нейросети (о них вы можете почитать в нашем материале), которая в итоге научилась сопоставлять нейронную активность и спектр вокализаций зебровых амадин.

В итоге программа использовала модель голосовых связок и совмещенные данные для того, чтобы предсказать, как будет звучать песня зебровой амадины. Как пишут исследователи в своей работе, нейросеть может верно спрогнозировать спектральные характеристики вокализации за 30 миллисекунд до того, как птица начнет петь. Ниже вы можете послушать, как поет птица и то, какой звук предсказала нейросеть:

Предсказание нейросети

Авторы работы считают, что их программа поможет в разработке нейроинтерфейсов. По их мнению, подобный подход может быть применен для биомедицинских речевых протезов.

Недавно нейроинтерфейс позволил пациентам с синдромом «запертого человека» отвечать на вопросы «да» или «нет». Facebook сейчас работает над созданием неинвазивного нейроинтерфейса, который позволит пользователям набирать текст без клавиатуры. Американские ученые, в свою очередь, разработали интерфейс «компьютер-мозг» для управления роботом.

Кристина Уласович