Американские исследователи создали систему, которая с помощью нейроинтерфейса считывает данные об активности мозга птицы и может предсказать, какую песню она будет петь через доли секунды. Статья опубликована на сервере препринтов BiorXiv.org.
Нейроинтерфейсы (интерфейсы типа «мозг-компьютер») предназначены для считывания данных об активности мозга. Благодаря нейроинтерфейсам можно, например, управлять компьютерами или роботизированным устройствами посредством сигналов мозга. С помощью имплантируемых электродов или неинвазивных методов (ЭЭГ, МЭГ, фМРТ и другие) управляющие команды мозга регистрируются и передаются на компьютер, где преобразуются в понятные команды.
Чтобы продвинуться в создании нейроинтерфейсов для считывания или предсказания речи, ученые тестируют технологию на животных. Авторы новой работы создали интерфейс «компьютер-мозг» для зебровой амадины, с помощью которого программное обеспечение предсказывает по активности мозга птицы, какую песню она будет петь.
Как и человеческая речь, песни амадин имеют определенную структуру. Кроме того, анатомия вокализации птиц хорошо изучена, что позволяет построить точную и простую биофизическую модель их вокального органа (сиринкс). В отличие от млекопитающих, у птиц нет голосовых связок. Они издают звуки посредством вибраций стенок сиринкса, которые возникают при выдохе.
Исследователи имплантировали силиконовые электроды мужским особям зебровой амадины. После разработчики одновременно следили за активностью области мозга птиц (HVC), отвечающей за производство звуков, и записывали их песни. Данные использовались для тренировки LSTM-нейросети (о них вы можете почитать в нашем материале), которая в итоге научилась сопоставлять нейронную активность и спектр вокализаций зебровых амадин.
В итоге программа использовала модель голосовых связок и совмещенные данные для того, чтобы предсказать, как будет звучать песня зебровой амадины. Как пишут исследователи в своей работе, нейросеть может верно спрогнозировать спектральные характеристики вокализации за 30 миллисекунд до того, как птица начнет петь. Ниже вы можете послушать, как поет птица и то, какой звук предсказала нейросеть:
Предсказание нейросети
Авторы работы считают, что их программа поможет в разработке нейроинтерфейсов. По их мнению, подобный подход может быть применен для биомедицинских речевых протезов.
Недавно нейроинтерфейс позволил пациентам с синдромом «запертого человека» отвечать на вопросы «да» или «нет». Facebook сейчас работает над созданием неинвазивного нейроинтерфейса, который позволит пользователям набирать текст без клавиатуры. Американские ученые, в свою очередь, разработали интерфейс «компьютер-мозг» для управления роботом.
Кристина Уласович
Алгоритм помог отделить летучих мышей от птиц и насекомых
Ученым удалось точно описать миграцию перелетных летучих мышей и отличить их от других животных. Оказалось, что они летают на меньшей высоте, чем птицы, и начинают мигрировать позднее. Найти мигрирующих летучих мышей помог алгоритм для классификации данных с радаров: он определил, какие данные относятся к насекомым и птицам, а какие — к летучим мышам. Работа опубликована в журнале Methods in Ecology and Evolution. С помощью радаров ученые уже почти 80 лет исследуют летающих существ: птиц и насекомых. По данным с радаров можно изучать длительные и массовые перемещения птиц, например сезонную миграцию. Для анализа радарных данных нужно сначала понять, каким животным эти данные принадлежат. Птиц и насекомых легко различить по размеру, форме и аэродинамике, а вот летучих мышей от птиц отличить сложнее. Для различения летающих животных на радарных данных используются разные алгоритмы, в том числе методы машинного обучения, но для них нужно много предварительных наблюдений. Например, исследователи могут пронаблюдать за движением птиц в определенном месте и отметить их на данных с радаров. В отличие от птиц, летучие мыши активны в темное время суток, и наблюдать за ними сложнее, поэтому данных о миграции летучих мышей мало. Из-за отсутствия данных их перелеты не учитываются при строительстве небоскребов, вышек или электростанций, поэтому летучие мыши могут в них врезаться во время миграции. Чтобы лучше изучать и защищать летучих мышей, группа ученых из Тель-Авивского университета под руководством Нира Сапира (Nir Sapir) придумала способ определять их на данных с радаров. Во-первых, авторы учли характеристики полета летучих мышей: амплитуду и скорость движений крыльями, высоту и скорость передвижения. Во-вторых, они исследовали данные, собранные за четыре года в Долине Хула в Израиле за определенные две недели в июне — обычно в это время там останавливаются передохнуть многие перелетные птицы во время миграции по Евразийско-Африканскому маршруту, но по ночам в июне в долине встречаются только четыре хорошо изученных вида птиц, которых можно перепутать с летучими мышами. По характеристикам полета ученые отделили этих птиц от летучих мышей в радарных данных. Так авторы собрали датасет с информацией о перелетах летучих мышей и насекомых с птицами. Наблюдений по летучим мышам оказалось намного меньше, поэтому ученые дополнительно сгенерировали искусственные данные с помощью нейросети. В итоговом датасете получилось 430 тысяч наблюдений. На нем натренировали четыре классификатора, отделяющие летучих мышей от других летающих существ. Для классификации использовали деревья решений. Каждый классификатор использовал разный набор параметров: в одном учитывались все данные о полете, в другом не учитывалась скорость передвижения, в третьем — амплитуда и скорость махов крыльями, в четвертом — паузы без взмахов крыльями. Худшие результаты (точность меньше 65 процентов) показали третья и четвертая модели, которые не учитывали информацию о взмахах крыльями. Зато классификатор, обученный на полном наборе данных, показал точность 94 процента. Помимо обычной оценки точности классификации, авторы проверяли, как часто модель ошибочно определяет летучих мышей на дневных данных (обычно летучие мыши мигрируют по ночам). Авторы применили обученный классификатор на другие данные, собранные в Долине Хула, и смогли выяснить новые особенности миграции и поведения летучих мышей. Оказалось, что они еще менее активны зимой, чем летающие птицы и насекомые. Также ученые показали, что летучих мышей есть два основных периода и направления миграции: с марта по июнь на север и с сентября по ноябрь на юг. Летучие мыши начинают и заканчивают сезонные перелеты позднее, чем птицы. Недавно зоологи выяснили, что перелетные летучие мыши ориентируются по геомагнитному полю во время миграций. Ученые пришли к этому выводу после экспериментов с малыми нетопырями. Две группы летучих мышей держали в обычных клетках и клетках с искаженным магнитным полем. Когда обе группы выпустили из клеток, они полетели в разных направлениях.