Феликс Сунь (Felix Sun), студент из Массачусетского технологического института, создал нейронную сеть, которая способна достраивать мелодию аккордами на основе предварительно «выученного» жанра. В качестве демонстрации автор обучил сеть на подборке регтаймов Скотта Джоплина, а затем использовал ее для аранжировки, например оды «К радости» Бетховена. Сама работа подробно описана в блоге программиста, а исходный код выложен на GitHub.
Программа, которая получила название DeepHear, представляет собой глубокую байесовскую сеть (deep belief network). Такая разновидность искусственных нейросетей часто используется для распознавания данных, например, изображений. Однако, в отличии от этой задачи, использовался автокодирующий вариант: сеть не только сводила входящие данные к меньшему числу измерений (от примерно 5000 бит к 16), но и решала обратную задачу, стремясь как можно точнее воспроизвести «образец».
Феликс обучал нейронную сеть на подборке регтаймов, а затем перестроил ее на новую задачу: теперь программе требовалось на основе заданной композиции создать «регтайм» с мелодией, как можно более похожей на оригинал. Таким образом, нейросеть использовала внутренние параметры, выбранные в ходе первого этапа обучения, но в новой задаче уже опиралась на другой критерий «правильности» результата.
Название «DeepHear», вероятно, выбрано созвучным с "
" — нейросети от Google, которая на основе заданного изображения создает новую картинку, где все объекты дополнены определенными шаблонами (лицами и глазами). DeepHear, по сути, делает то же самое, но с музыкой.
Анализируя полученные образцы, автор делает вывод, что DeepHear, хоть и не идеально, но справляется с полученной задачей. В готовых сэмплах явно прослеживаются характерные для регтаймов последовательности аккордов, и в целом аранжировки звучат приятно, хотя в них и встречаются легкие диссонансы. В будущем Феликс планирует использовать более совершенные методы обучения, а также перейти от «виртуального композиторства» к генерации естественных звуков при помощи нейросетей.
Задача создания музыки при помощи нейронных сетей
уже более 20 лет, однако чаще всего исследователей интересует не аранжировка, а именно сочинение музыки «с нуля». В этой области до сих пор остается нерешенной проблема нахождения «общего» подхода: нейросети неплохо справляются с воспроизведением отдельных аккордов и небольших фраз, однако оказываются неспособны создать цельное произведение.