Четвероногие роботы освоили ходьбу гуськом

Швейцарские инженеры разработали для четвероногих роботов двухуровневый нейросетевой алгоритм управления. Он позволяет робособакам передвигаться по сложной неструктурированной местности с хаотично расположенными препятствиями, в том числе проходить, приседая к земле и двигаясь в полуприседе под нависающими сверху объектами, которые ограничивают высоту прохода. Готовые алгоритмы проверили в симуляции и на реальных четвероногих роботах ANYmal. Препринт статьи опубликован на сайте arxiv.org.

Четвероногие роботы известны своей способностью передвигаться по неровной местности. Они могут ходить по лестницам, совершать прыжки, и приседать, изменяя высоту корпуса относительно поверхности за счет ног с несколькими степенями свободы. Поэтому считается, что роботы этого типа могут подойти для работы в опасных или недоступных для человека областях, например, для поиска выживших под завалами разрушенных в результате стихийных бедствий зданий. Однако до последнего времени задача эффективной навигации четвероногих роботов в сильно неструктурированном ограниченном пространстве с большим количеством нависающих сверху препятствий оставалась нерешенной.

Инженеры под руководством Марко Хуттера (Marco Hutter) из Швейцарской высшей технической школы Цюриха решили восполнить этот пробел. Они разработали алгоритм управления для четвероного робота, обеспечивающий устойчивое передвижение в ограниченных неструктурированных средах. Для снижения сложности задачи, стратегия управления была разделена на два слоя: низкоуровневую и высокоуровневую политики.

Низкоуровневая политика отвечает за выполнение роботом конкретных движений ногами и корпусом. Этот слой получает на вход команды, формирующие шесть степеней свободы: скорость движения в продольном и поперечном направлениях, скорость вращения вокруг вертикальной оси, крены корпуса, а также высоту его положения относительно поверхности. Политика верхнего слоя задает общее направление движения робота и высокоуровневую стратегию его поведения, исходя из данных о геометрии окружающего пространства. Ее задача состоит в генерации перечисленных выше команд для политики нижнего уровня.

Чтобы политика управления была универсальной для роботов с разными конфигурациями датчиков, инженеры использовали подход обучения «учитель-ученик». Для этого сначала создают сложную модель управления, обучая её на идеальных данных о мире. Эта модель способна выполнять задачи с высокой точностью в контролируемых условиях в симуляции. После этого происходит процесс дистилляции: знания из сложной модели переносятся в более простую модель (ученическая политика), которая может эффективно работать в реальных условиях с использованием данных, полученных от датчиков робота, подверженных шумам и неточностям. Также для этой цели информация об окружении, поступающая на вход ученической высокоуровневой политики преобразуется в воксельные структуры, тогда как данные, используемые учительской политикой представляют собой сферический скан, сгенерированный с помощью трассировки луча в симуляции.

Тренировка учительских политик выполнялась методом обучения с подкреплением с помощью алгоритма проксимальной оптимизации политики (Proximal Policy Optimization). Политика верхнего уровня обучалась на основе симуляции в процедурно сгенерированном окружении в системе Isaac Gym, разработанной компанией NVIDIA для тренировки роботов. Сгенерированная среда имитировала неровную поверхность с хаотично расположенными препятствиями, в том числе нависающими сверху. Робот учился проходить через эти узкие ограниченные пространства, подстраивая положение ног и корпуса и используя походку, при которой корпус находится практически у земли, а ноги сильно согнуты в суставах.

Готовые обученные политики затем испытали в симуляции и в реальных условиях, имитирующих обломки разрушенных зданий, с узкими нависающими сверху под разными углами препятствиями, ограниченными проходами и неустойчивыми поверхностями. В экспериментах использовали модели робособак ANYmal С и ANYmal-D, оснащенных лидарами и камерами глубины. Во всех испытаниях оба уровня алгоритма показали свою надежность и работоспособность. В будущем инженеры планируют усовершенствовать алгоритм, чтобы он мог действовать также и в динамических изменяющемся окружении.

Четвероногие роботы ANYmal обладают достаточной ловкостью, чтобы использовать свои ноги в роли манипуляторов. В своей предыдущей работе, инженеры из этой же лаборатории научили робота взаимодействовать с окружающими объектами с помощью одной из его передних ног. Робот может открывать двери, нажимать на настенные выключатели и перемещать предметы, двигая их ногой.