Феликс Сунь (Felix Sun), студент из Массачусетского технологического института, создал нейронную сеть, которая способна достраивать мелодию аккордами на основе предварительно «выученного» жанра. В качестве демонстрации автор обучил сеть на подборке регтаймов Скотта Джоплина, а затем использовал ее для аранжировки, например оды «К радости» Бетховена. Сама работа подробно описана в блоге программиста, а исходный код выложен на GitHub.
Программа, которая получила название DeepHear, представляет собой глубокую байесовскую сеть (deep belief network). Такая разновидность искусственных нейросетей часто используется для распознавания данных, например, изображений. Однако, в отличии от этой задачи, использовался автокодирующий вариант: сеть не только сводила входящие данные к меньшему числу измерений (от примерно 5000 бит к 16), но и решала обратную задачу, стремясь как можно точнее воспроизвести «образец».
Феликс обучал нейронную сеть на подборке регтаймов, а затем перестроил ее на новую задачу: теперь программе требовалось на основе заданной композиции создать «регтайм» с мелодией, как можно более похожей на оригинал. Таким образом, нейросеть использовала внутренние параметры, выбранные в ходе первого этапа обучения, но в новой задаче уже опиралась на другой критерий «правильности» результата.
Название «DeepHear», вероятно, выбрано созвучным с «
» — нейросети от Google, которая на основе заданного изображения создает новую картинку, где все объекты дополнены определенными шаблонами (лицами и глазами). DeepHear, по сути, делает то же самое, но с музыкой.
Анализируя полученные образцы, автор делает вывод, что DeepHear, хоть и не идеально, но справляется с полученной задачей. В готовых сэмплах явно прослеживаются характерные для регтаймов последовательности аккордов, и в целом аранжировки звучат приятно, хотя в них и встречаются легкие диссонансы. В будущем Феликс планирует использовать более совершенные методы обучения, а также перейти от «виртуального композиторства» к генерации естественных звуков при помощи нейросетей.
Задача создания музыки при помощи нейронных сетей
уже более 20 лет, однако чаще всего исследователей интересует не аранжировка, а именно сочинение музыки «с нуля». В этой области до сих пор остается нерешенной проблема нахождения «общего» подхода: нейросети неплохо справляются с воспроизведением отдельных аккордов и небольших фраз, однако оказываются неспособны создать цельное произведение.
Основываясь на уточненных спектроскопических данных, американские астрофизики составили первые количественные карты содержания воды на поверхности Луны. Полученные данные показали, что основным источником воды на поверхности Луны является солнечный ветер. А составленные карты могут потом быть использованы для уточнения теоретических моделей поведения летучих веществ на безвоздушных космических объектах. Работа опубликована в Science Advances.