Робособака с манипулятором на спине научилась передвигать стулья

Инженеры из Италии и Швейцарии научили четвероногого робота с манипулятором на спине перетаскивать предметы мебели сложной формы по полу, не поднимая их. В симуляции робособака успешно переместила по полу стулья разной формы в заданную точку в 94 процентах случаев, а в реальных испытаниях справилась в 40 из 58 случаев, передвинув стулья и трехногий столик. Препринт статьи опубликован на сайте arXiv.org.

Роботы могут перемещать предметы не только захватывая и поднимая их, но и двигая по поверхности. Таким образом можно работать с крупными и тяжелыми объектами сложной формы, которые невозможно поднять из-за ограниченной грузоподъемности манипуляторов. Однако управление движениями робота, когда тот толкает или тянет груз за собой, осложняется тем, что результат сильно зависит от трения, геометрии объекта и точки приложения воздействия. Кроме того, манипулятор в любой момент может соскользнуть, а предмет опрокинуться. Роботу приходится при этом еще и согласовывать собственные движения и положение с перемещением объекта.

Для освоения таких навыков часто используют обучение с подкреплением, при котором алгоритм системы управления самостоятельно вырабатывает стратегию движений в симуляторе методом проб и ошибок — за успешные действия он получает награду, а за неправильные — штраф. Но в случае предметов сложной формы этот алгоритм сталкивается с трудностью: пока робот не схватил предмет в подходящем месте и не начал его толкать или тащить в нужном направлении, он не получает вознаграждения — зато штрафы за резкие движения и расход энергии начисляются с первой секунды. В итоге робот выбирает наилучшей стратегией вообще не подходить к объекту.

Инженеры под руководством Марко Хуттера (Marco Hutter) из Высшей технической школы Цюриха предложили решение проблемы. Они использовали метод обучения с подкреплением, в котором роботу сначала указывают на подходящие точки контакта с объектом, а затем постепенно ослабляют вознаграждение за контакт, и в итоге решающим становится перемещение предмета. Двадцать пять точек предварительно размечаются на трехмерной модели предмета с помощью уже известного алгоритма планирования захвата. Само вознаграждение разработчики разделили на три группы: поиск контакта, перемещение предмета к цели и соблюдение ограничений на движения. Каждую группу оценивает отдельная ветвь нейросети-критика, разделенной на три выхода. По ходу обучения вклад награды за контакт снижается, а требования к плавности движений, наоборот, усиливаются.

Обучение проходило с помощью алгоритма PPO в симуляторе Isaac Lab в 4096 виртуальных средах. В них модель четвероногого робота ALMA с шестисуставным манипулятором на спине училась перемещать коробки и стулья в заданную точку. Для обучения использовали 115 моделей стульев, включая 100 процедурно сгенерированных с различной геометрией. В каждом новом эпизоде менялись начальное положение робота, масса предмета и коэффициент трения. Нейросеть управляла манипулятором, скоростью и направлением движения робота, а также высотой его корпуса. За движения ног отвечала заранее обученная система управления ходьбой.

В симуляции метод обеспечил успешное перемещение стульев в 94 процентах случаев. Доля опрокидываний составила 4,4 процента. Инженеры дополнительно протестировали метод в симуляции на задачах перемещения коробок и открывания дверцы посудомоечной машины — робот сначала тянул дверцу за ручку, а затем толкал ее вниз, чтобы перевести в горизонтальное положение. Затем обученную нейросеть без дополнительных настроек перенесли на настоящего четвероногого робота ALMA. Его испытали на четырех ранее незнакомых предметах мебели, включая обычные и складной стулья, а также трехногий столик несимметричной формы. Робособака справилась в 40 из 58 случаев, что составило 69 процентов успешных попыток. Оказалось, что робот может повторно цеплять предметы даже в случае соскальзывания манипулятора, хотя его не учили этому специально. В отдельном испытании ALMA переместил стул общей массой 6,5 килограмма — это больше, чем манипулятор может удерживать в вытянутом положении.

Разницу между количеством успешных попыток в симуляторе и на реальном роботе авторы объясняют тем, что политика управления часто подводит робота к предмету боком — так установленный на его спине манипулятор не задевает робота при попытке схватиться за ножку стула. Эти движения требуют резких команд поворота, что путает систему, отслеживающую положение робота в пространстве. В результате движения робота становятся слишком размашистыми, а передвигаемый объект может опрокинуться.

Пока метод проверен на трех задачах, а за определение положения объекта отвечает внешняя система захвата движения. Расписание, по которому происходит уменьшение вклада подсказки, побуждающей робота находить правильные точки контакта, авторы задавали вручную. В будущем они планируют заменить его адаптивным алгоритмом, который будет сам отслеживать прогресс обучения.

Ранее группа Марко Хуттера пробовала обойтись без манипулятора вовсе. Два года назад инженеры научили четвероногого робота ANYmal использовать одну из передних ног для манипуляции предметами.

Реклама: АНО ДПО «Т-Образование», ИНН 7743270426, erid: 2W5zFJKJqg5