Нейросеть написала блэк-метал альбом
Нейросеть проекта Dadabots научилась генерировать музыку в стиле блэк-метал. Послушать экспериментальный альбом, записанный системой искусственного интеллекта можно здесь. Программа будет представлена на конференции по нейронным информационным системам.
Нейросети уже давно используются не только для решения практических задач, вроде распознавания лиц или машинного перевода, но и для творчества. Разработчики неоднократно создавали программы, которые способны генерировать музыку и тексты песен. Совсем недавно алгоритм искусственного интеллекта Amper написал музыку к новому альбому поп-певицы Тарин Саутерн, а теперь нейросеть сгенерировала пять треков в стиле блэк-метал.
Проектом Dadabots руководят исследователь Кристофер Джеймс Карр (Christopher James Carr) и музыкальный продюссер Зак Зуковски (Zack Zukowski). Для создания альбома «Сoditany of Timeness» они использовали видоизмененную нейросеть SampleRNN, в основе которой лежит LSTM-нейросеть — разновидность архитектуры рекуррентных нейронных сетей (читайте про них здесь). Разработчики обучали алгоритм с помощью альбома Diotima нью-йоркской группы Krallice, который включает в себя семь треков общей длительностью более часа. Все композиции были разбиты на восьмисекундные отрывки: после прослушивания фрагмента программа должна была «предположить», как будет звучать его продолжение. Если она угадывала верно, то вес определенных нейронов увеличивался, а работа системы совершенствовалась.
Первые треки нейросети были «шумными и гротескными», однако со временем они стали лучше. В композициях начали угадываться элементы исходного альбома. Интересно, что название альбому и всем песням тоже дал компьютер — его сгенерировал алгоритм на марковских цепях.
Coditany of Timeness стал первым и самым популярным из трех альбомов проекта Dadabots. Ранее разработчики выложили в сеть альбом Calculating Calculating Infinity в стиле математический рок, основанный на треках группы Dillinger Escape Plan, и альбом Deep the Beatles!, вдохновленный командой Fab Four.
Авторы проекта планируют выпускать новый альбом каждую неделю на сайте Dadabots Bandcamp. Карр говорит, что в следующий раз команда, возможно, представит джаз.
Ранее инженеры парижской лаборатории Sony Computer Science Laboratories научили нейронную сеть стилизовать музыку под произведения Баха — результаты звучат настолько убедительно, что в половине случаев слушатель не отличает их от оригинальных хоралов. Также нейросеть недавно стала автором текстов для альбома в стиле «Гражданской обороны».
Кристина Уласович
Она поможет написать письмо, план тренировки или сочинит историю
Яндекс обучил большую русскоязычную языковую модель YandexGPT и внедрил ее в своего виртуального помощника Алису. Сейчас нейросеть тестируют пользователи продуктов Яндекса, новость об этом вышла на сайте компании. Языковая модель — это нейросеть, которая умеет генерировать тексты, по очереди предсказывая каждое слово в предложении. Языковая модель YandexGPT основана на архитектуре Transformer, которую создали исследователи из Google в 2017 году. Когда в такую нейросеть загружают текст, она умеет выделять в нем важные слова и фокусировать на них внимание. Главный навык модели — хорошо понимать и запоминать тексты, и генерировать новые. Когда нейросеть осваивает этот навык, она одновременно естественным образом учится выполнять самые разные задачи, связанные с анализом текстов. Большие языковые модели основаны на архитектуре Transformer и обучены на огромном количестве данных, обычно из интернета. Они умеют создавать текст, почти не отличимый от человеческой речи. Первой успешной моделью такого типа стала нейросеть GPT от компании OpenAI. В 2022 вышла улучшенная версия модели ChatGPT. Ее не просто натренировали на большом количестве данных, но и дообучили с помощью обучения с подкреплением. Люди-эксперты работали с нейросетью в режиме диалога, показывая ей как правильно отвечать на вопросы. В надежде повторить успех ChatGPT, многие компании обучают свои языковые модели-аналоги (например, Bard от Google или Poe от Quora). Яндекс первым внедрил такую модель в виртуального помощника. 17 мая Яндекс выпустил большую языковую модель YandexGPT в открытый доступ. С ней можно пообщаться через Алису в приложении Яндекс, браузере, умной колонке или телевизоре. Чтобы активировать YandexGPT, нужно сказать: «Алиса, давай придумаем!» Языковая модель пока находится в режиме тестирования, но уже умеет выполнять разные задачи пользователей: выбрать подарок, составить план тренировки или написать деловое письмо. Модель умеет составлять грамотные содержательные тексты, но может ошибаться в фактах. Посмотрите, как пользователи общаются с YandexGPT: Нейросеть обучали на суперкомпьютерах Яндекса в два этапа. Сначала разработчики отобрали для обучения много книг, статей и страниц сайтов с помощью поисковых инструментов Яндекса — по утверждению компании, в выборку попадали только содержательные и хорошо написанные тексты. На втором этапе модель дообучили, чтобы она лучше вела диалог. Для этого Яндекс воспользовался методом, который придумали исследователи из OpenAI. Эксперты-разметчики составили сотни тысяч пар вопрос-ответ и показывали их YandexGPT на втором этапе обучения. Но у YandexGPT есть свои ограничения. Например, нейросеть пока не умеет запоминать контекст и учитывать предыдущие реплики. Однако YandexGPT постоянно дообучается на новых данных от пользователей и может развить этот навык в будущем. Cравнить качество ответов YandexGPT с другими языковыми моделями пока невозможно, Яндекс не раскрыл эти данные. Также неизвестна точная архитектура модели и параметры ее обучения. Тем временем другая языковая модель GPT-4 научилась работать не только с текстом, но и с картинками.