Google представила открытый проект музыкального синтезатора на основе нейросетевого алгоритма NSynth, умеющего создавать новые звуки из характеристик звуков нескольких существующих инструментов. Разработчики опубликовали исходные коды алгоритма и подробные инструкции по сборке устройства, сообщается в блоге компании.
Программисты из Google представили алгоритм NSynth в 2017 году. Он построен на базе сверточной нейросети WaveNet, разработанной для создания звуков. Особенность алгоритма заключается в том, что он не просто совмещает два или более звуков инструментов, а распознает акустические свойства каждого инструмента и создает на их основе новый звук, совмещающий свойства нескольких инструментов. Для тренировки нейросети программисты создали размеченный датасет из примерно 300 тысяч образцов звуков. Для демонстрации работы алгоритма разработчики создали специальную страницу, на которой можно в реальном времени создавать звуки из двух инструментов.
Теперь инженеры Google создали на основе NSynth настоящий музыкальный инструмент NSynth Super и опубликовали на GitHub подробные инструкции по его созданию, а также исходные коды всего необходимого программного обеспечения. Устройство построено на одноплатном компьютере Raspberry Pi 3, также для сборки понадобится сенсорный дисплей и печатная плата, которую необходимо создать самому или заказать в специальном сервисе. Инженеры опубликовали файлы и инструкции для создания этой платы, а также корпуса и кнопок устройства.
После сборки устройства для него нужно подготовить набор звуков. Для этого необходимо собрать звуки нужных инструментов, обработать их специальным скриптом в формат, совместимый с синтезатором и загрузить их на устройство. Во время работы синтезатора в каждом из четырех углов экрана располагается один из инструментов. Пользователь может водить пальцем по экрану и смешивать звуки от них, а также дополнительно изменять характеристики и последовательность звуков кнопками и крутящимися регуляторами. К NSynth Super можно подключать другие устройства, например, MIDI-клавиатуры или секвенсоры.
В 2016 году британский стартап Roli выпустил модульный сенсорный синтезатор Blocks для создания своих треков. Модули соединяются между собой с помощью магнитных креплений, а управлять модулями можно с помощью жестов.
Григорий Копиев