Обучение с подкреплением помогло освоить новые движения
Компания Boston Dynamics выложила видео, в котором робот Atlas выполняет множество новых сложных движений. Робот не только ходит и бегает, но также передвигается на четвереньках, делает колесо, перекаты и выполняет элемент брейк-данса. Чтобы достичь такого результата Boston Dynamics в коллаборации с RAI Institute применили метод обучения с подкреплением на основе анимации и данных о движениях реальных людей, записанных с помощью системы захвата движений. После обучения в физическом симуляторе политика управления была перенесена в робота без дополнительных адаптаций и настроек.
Электрический робот Atlas, разрабатываемый Boston Dynamics, пришел на смену знаменитому гидравлическому предшественнику в апреле 2024 года. С тех пор компания активно обучала нового робота выполнению практических задач. К примеру, в октябре 2024 года Atlas научился самостоятельно переносить автомобильные запчасти между контейнерами. Не забывают инженеры Boston Dynamics и о двигательных навыках робота и продолжают их совершенствовать.
19 марта 2025 года Boston Dynamics опубликовала видео, в котором Atlas демонстрирует множество новых движений. Помимо простой ходьбы и бега робот выполняет несколько сложных динамичных трюков и маневров. Например, ходит на четвереньках, делает боковые перекаты, танцует брейк-данс (делает элемент coffee grinder), выполняет гимнастическое упражнение «колесо» и стойку на руках. При этом Atlas сохраняет баланс с помощью быстрых и точных движений, демонстрируя высокий уровень устойчивости в разных положениях. Можно отметить также высокую плавность и естественность движений робота, которые очень похожи на реальные человеческие. Например, начиная бег, Atlas наклоняется вперед на старте (и назад при замедлении и остановке), как это сделал бы человек. Однако, в отличие от человеческого, тело робота имеет существенно больший диапазон движений. И это используется в некоторых движениях: при выходе из стойки на руках, например, Atlas разворачивает нижнюю часть туловища в тазу на 180 градусов, чтобы поставить ноги на пол.
Этот результат получен в рамках сотрудничества между Boston Dynamics и Институтом робототехники и искусственного интеллекта (RAI Institute). Такого уровня подвижности удалось достичь с помощью метода обучения с подкреплением. В симуляторе с высокой точностью моделируются физические законы и взаимодействия с окружением, позволяя цифровой модели робота тренироваться гораздо быстрее, чем в реальном мире. Процесс обучения включает в себя генерацию огромного количества данных для широкого спектра движений. Каждый отдельный трюк отрабатывается в симуляторе около 150 миллионов раз. Это позволяет роботу накопить достаточный опыт и выработать оптимальные стратегии действий в различных ситуациях. Полученные в результате обучения политики управления затем переносятся на реального робота без дополнительной настройки или адаптации (zero-shot подход). Это означает, что навыки, приобретенные в виртуальной среде, напрямую применимы в реальном мире.
Важную роль в процессе обучения также играет использование анимаций и технологии захвата движений. Движения человека-оператора регистрируются с высокой точностью, после чего полученные данные передаются в модель обучения робота, служа ему образцом для подражания. При этом Atlas не просто копирует эти движения, а учится понимать их динамику, включая плавные переходы между отдельными позами, распределение веса и быстрые корректирующие движения, которые трудно запрограммировать вручную.
Метод обучения с подкреплением помогает инженерам обучать роботов навыкам, которые сложно запрограммировать иным способом. Недавно, например, разработчики из института RAI показали двухколесного робота, созданного ими на базе детского беговела. Робот может выполнять банни-хоп — прыжок, при котором оба колеса отрываются от земли, ездить на заднем колесе и задом наперед. И все это без какой-либо физической системы стабилизации, только благодаря системе управления, натренированной с помощью обучения с подкреплением.
Она может шевелить пальцами и перемещает предметы
Японские инженеры разработали биогибридную руку, приводимую в движение актуаторами из пучков выращенных в лаборатории человеческих мышц. Роборука имеет в длину 18 сантиметров, способна выполнять движения индивидуально каждым из пяти пальцев, а также может передвигать небольшие предметы. В руке используется мышечный актуатор, который состоит из нескольких длинных тонких мышечных полосок, объединенных в единый пучок. Такая конструкция обеспечивает более высокую производительность по сравнению с одиночными мышечными волокнами, говорится в статье, опубликованной в журнале Science Robotics.