Играющий на маримбе четырехрукий робот научился сам сочинять музыку
Исследователи из Технологического института Джорджии с помощью технологий глубокого машинного обучения научили четырехрукого робота Shimon самостоятельно сочинять музыку. Об этом сообщается на сайте Института.
Робот Shimon был построен семь лет назад для того, чтобы аккомпанировать живому музыканту, играя на маримбе. Четырехрукий робот держит по две палочки в каждой руке и из предварительно составленных людьми последовательностей аккордов выбирает наиболее подходящие под мелодию, которую в это время исполняет музыкант. Теперь Shimon впервые начал исполнять музыку собственного сочинения.
С помощью технологий глубокого машинного обучения разработчики обучили робота на примере пяти тысяч полных композиций самых разных композиторов и исполнителей, в числе которых, например, Бетховен, The Beatles, Леди Гага и Майлс Дейвис. Кроме того, для обучения нейросети использовалось около двух миллионов риффов и музыкальных отрывков.
Теперь Shimon может самостоятельно сочинять и исполнять музыку, однако стоит отметить, что для того, чтобы начать импровизацию, роботу все же необходимо услышать «посевные» четыре такта от человека. По словам разработчиков, это более высокий уровень, чем просто игра заранее запрограммированных нот и аккордов: «Композиции Shimon показывают, как выглядит музыка с точки зрения робота, который с помощью глубоких нейросетей изучил миллионы фрагментов мелодий, написанных людьми».
Shimon не первый проект, посвященный исследованиям на стыке музыки и искусственного интеллекта. Например, нейросети уже умеют достраивать аккордами мелодию на основе предварительно выученного жанра, писать хоралы за Баха, сочинять рождественские песни и писать тексты песен в стиле «Гражданской обороны». Также работой с музыкой занимаются специалисты из проекта Magenta — это отдельная группа Google Brain, которая изучает творческий потенциал глубокого машинного обучения.
Для его создания использовали три метода визуализации
Аллан Джонсон (Allan Johnson) из Дьюкского университета с коллегами представил трехмерный стереотаксический атлас мозга мыши, охватывающий анатомические структуры и клетки. Для его создания мозг и череп пяти мышей визуализировали тремя способами. Сначала мозг в черепной коробке трехмерно визуализировали диффузно-тензорной томографией с разрешением 15 микрометров (в 2,4 миллиона раз выше, чем у клинических томографов), которое позволяет рассмотреть цитоархитектуру мозговых структур. Затем с помощью микрокомпьютерной томографии отметили опорные точки черепа. После этого мозг извлекли и сделали снимки его срезов микроскопией плоскостного освещения, чтобы получить карты клеток. Результаты работы опубликованы в журнале Science Advances.