Обучение с подкреплением помогло освоить новые движения
Загрузка галереи
Компания Boston Dynamics выложила видео, в котором робот Atlas выполняет множество новых сложных движений. Робот не только ходит и бегает, но также передвигается на четвереньках, делает колесо, перекаты и выполняет элемент брейк-данса. Чтобы достичь такого результата Boston Dynamics в коллаборации с RAI Institute применили метод обучения с подкреплением на основе анимации и данных о движениях реальных людей, записанных с помощью системы захвата движений. После обучения в физическом симуляторе политика управления была перенесена в робота без дополнительных адаптаций и настроек.
Электрический робот Atlas, разрабатываемый Boston Dynamics, пришел на смену знаменитому гидравлическому предшественнику в апреле 2024 года. С тех пор компания активно обучала нового робота выполнению практических задач. К примеру, в октябре 2024 года Atlas научился самостоятельно переносить автомобильные запчасти между контейнерами. Не забывают инженеры Boston Dynamics и о двигательных навыках робота и продолжают их совершенствовать.
19 марта 2025 года Boston Dynamics опубликовала видео, в котором Atlas демонстрирует множество новых движений. Помимо простой ходьбы и бега робот выполняет несколько сложных динамичных трюков и маневров. Например, ходит на четвереньках, делает боковые перекаты, танцует брейк-данс (делает элемент coffee grinder), выполняет гимнастическое упражнение «колесо» и стойку на руках. При этом Atlas сохраняет баланс с помощью быстрых и точных движений, демонстрируя высокий уровень устойчивости в разных положениях. Можно отметить также высокую плавность и естественность движений робота, которые очень похожи на реальные человеческие. Например, начиная бег, Atlas наклоняется вперед на старте (и назад при замедлении и остановке), как это сделал бы человек. Однако, в отличие от человеческого, тело робота имеет существенно больший диапазон движений. И это используется в некоторых движениях: при выходе из стойки на руках, например, Atlas разворачивает нижнюю часть туловища в тазу на 180 градусов, чтобы поставить ноги на пол.
Этот результат получен в рамках сотрудничества между Boston Dynamics и Институтом робототехники и искусственного интеллекта (RAI Institute). Такого уровня подвижности удалось достичь с помощью метода обучения с подкреплением. В симуляторе с высокой точностью моделируются физические законы и взаимодействия с окружением, позволяя цифровой модели робота тренироваться гораздо быстрее, чем в реальном мире. Процесс обучения включает в себя генерацию огромного количества данных для широкого спектра движений. Каждый отдельный трюк отрабатывается в симуляторе около 150 миллионов раз. Это позволяет роботу накопить достаточный опыт и выработать оптимальные стратегии действий в различных ситуациях. Полученные в результате обучения политики управления затем переносятся на реального робота без дополнительной настройки или адаптации (zero-shot подход). Это означает, что навыки, приобретенные в виртуальной среде, напрямую применимы в реальном мире.
Важную роль в процессе обучения также играет использование анимаций и технологии захвата движений. Движения человека-оператора регистрируются с высокой точностью, после чего полученные данные передаются в модель обучения робота, служа ему образцом для подражания. При этом Atlas не просто копирует эти движения, а учится понимать их динамику, включая плавные переходы между отдельными позами, распределение веса и быстрые корректирующие движения, которые трудно запрограммировать вручную.
Метод обучения с подкреплением помогает инженерам обучать роботов навыкам, которые сложно запрограммировать иным способом. Недавно, например, разработчики из института RAI показали двухколесного робота, созданного ими на базе детского беговела. Робот может выполнять банни-хоп — прыжок, при котором оба колеса отрываются от земли, ездить на заднем колесе и задом наперед. И все это без какой-либо физической системы стабилизации, только благодаря системе управления, натренированной с помощью обучения с подкреплением.
Он летает в любых направлениях и катается по земле
Японские инженеры из компании DIC Group в сотрудничестве с Университетом Токусимы и фирмой Hishida R&D разработали концепт октокоптера HAGAMOSphere, который может летать во всех направлениях без необходимости наклонов или поворотов корпуса. В воздухе дрон удерживают восемь роторов, которые установлены в вершинах кубической рамы. При этом каждая пара роторов на противоположных вершинах имеет и противоположные векторы тяги. Благодаря такой конструкции HAGAMOSphere может двигаться одинаково эффективно вперед, назад, влево и вправо, не меняя при этом ориентацию корпуса в пространстве. Рама вместе с роторами заключена в сферическую оболочку, которая обеспечивает защиту от столкновений с препятствиями, а также позволяет дрону катиться по земле. Прототип был представлен на выставке CES 2025 в Лас-Вегасе, где получил награду CES Innovation Awards 2025.