Нейросеть дополнила партию бас-гитары игрой на барабанах

Разработчики из подразделения Google Magenta представили набор нейросетевых алгоритмов GrooVAE, предназначенный для создания реалистичных музыкальных партий на барабанах. К примеру, один из алгоритмов принимает ритмичную мелодию, исполненную на любом инструменте, и создает в дополнение к ней подходящую по звучанию партию на барабанах. Алгоритмы доступны в виде плагинов для популярного музыкального редактора Ableton Live, рассказывают разработчики в блоге Magenta. Статья с описанием проекта будет представлена на конференции ICML 2019.

Партию ударных инструментов в музыкальном произведении с постоянным ритмом можно разложить на два компонента: партитуру и грув. В случае с игрой на барабанах партитура описывает то, какие именно элементы ударной установки используются в ту или иную долю ритма. Грув же описывает манеру исполнения, в том числе силу ударов и смещения или удлинения каждого конкретного удара относительно доли. Как правило, барабанщики могут на основании одного из этих двух компонентов подобрать второй.

Исследователи из группы Magenta в составе Google Brain создали нейросетевые алгоритмы, способные выполнять эту задачу. Новый проект группы основан на более ранней разработке — рекуррентном вариационном автокодировщике. Он получает музыкальную последовательность и преобразует ее в высокоуровневое представление, а затем производит преобразование этого высокоуровневого представления в реалистичную музыку. Этот метод получил достаточно большое распространение из-за того, что входной слой такой нейросети имеет большую размерность, чем промежуточный слой, что заставляет алгоритм находить общие черты и корреляции в датасете для обучения и благодаря этому способен сжимать данные, сохраняя их суть.

Разработчики собрали для обучения алгоритм датасет, состоящий из 13,5 часов игры барабанщиков на электронной ударной установке. Датасет состоит из MIDI-нот, а также временных интервалов ударов и их сил. Во время обучения алгоритм получал только одну из двух частей данных (партитуру или грув) и благодаря этому научился предсказывать общее звучание настоящей музыки из датасета.

Исследователи применили этот принцип в нескольких нейросетевых моделях для разных задач. Две основных модели, Groove и Drumify, разработчики реализовали в виде плагинов для популярного музыкального редактора Ableton Live или в виде отдельных приложений. Groove принимает на вход партитуру и выдает для нее грув. Эту модель исследователи также продемонстрировали в виде браузерного приложения. Модель Drumify работает иным образом. Она принимает любой ритм и превращает его в реалистичную запись игры на барабанах. В качестве примера авторы показали, как алгоритм создает барабанные партии на основе записей игры на бас-гитаре или музыкальном синтезаторе.

Ранее разработчики из Magenta создавали другие нейросетевые алгоритмы и музыкальные инструменты, доступные широкому кругу людей. К примеру, в конце 2018 года они создали контроллер, позволяющий играть на фортепиано, используя всего 8 кнопок вместо 88. А незадолго до этого они представили музыкальный синтезатор на основе алгоритма NSynth, позволяющий создавать новые звуки, используя характеристики звуков существующих инструментов.

Григорий Копиев