Искусственный интеллект научился сумо

Разработчики из OpenAI создали среду для обучения искусственного интеллекта сумо и создали алгоритмы, которые самостоятельно научились бороться друг с другом за счет применения метаобучения. Исследователи планируют открыть доступ к среде под названием RoboSumo на платформе OpenAI Gym, предназначенной для обучения и тренировки алгоритмов искусственного интеллекта. Описание разработки доступно на специальной странице, а также в виде препринта на сайте arXiv.org.

В последние годы для создания алгоритмов, предназначенных для решения сложных задач, часто используют машинное обучение, а не традиционные «жесткие» алгоритмы. В последние годы активно развивается подход машинного обучения, называемый метаобучением. Кратко его можно представить как метод, при котором алгоритм может на основе предыдущего опыта адаптировать сам процесс обучения в зависимости от конкретной стоящей перед ним задачи. Это позволяет искусственному интеллекту быстро адаптироваться к меняющимся условиям — в частности, метаобучение хорошо применимо к соревновательным задачам и играм.

Исследователи из OpenAI применили этот подход для создания алгоритмов, эффективно борющихся в стиле сумо. Для этого разработчики создали специальную виртуальную среду под названием RoboSumo, поддерживающую несколько обучающихся агентов. Разработчики экспериментировали с относительно простой анатомией: четырех-, шести-, и восьминогими «существами». Они вывели «популяцию» из 1050 агентов, различающихся строением и методами обучения. Для начала они самостоятельно научились ходить, а затем и бороться с использованием разных тактик.

Затем исследователи сталкивали агентов между собой. Как и в настоящем сумо, агенты должны были вытолкнуть противника с площадки или перевернуть его. Проигравшие конфигурации исчезали, а победившие воспроизводили себя, в результате чего состав популяции периодически менялся. К концу такого теста шестиногие агенты, использующие метаобучение, стали доминировать в популяции.

Также исследователи продемонстрировали состязания человекоподобных агентов с гораздо более сложной анатомией, в которых они продемонстрировали различные тактики. Разработчики планируют выпустить RoboSumo в качестве среды для OpenAI Gym — платформы для разработки и обучения виртуальных агентов.

Недавно разработчики из Google DeepMind научили искусственный интеллект паркуру. Для этого они использовали обучение с подкреплением и виртуальную среду. В середине 2017 года OpenAI представила метод обучения роботов в виртуальной реальности, после которого они могут повторить те же действия с реальными объектами без дополнительной тренировки в реальном окружении.

Григорий Копиев