Скорость подъема в 232 раза превосходит результаты других четвероногих роботов
Швейцарские инженеры научили четвероногого робота ANYmal взбираться по приставной лестнице. Разработанный исследователями нейросетевой алгоритм управления, основанный на методе обучения с подкреплением, позволяет робособаке с крюками на ногах быстро и уверенно подниматься по перекладинам приставной лестницы, установленной с углом наклона от 70 до 90 градусов. Робот устойчив к внезапным внешним воздействиям и карабкается со средней скоростью 0,44 метра в секунду, что в 232 раза выше, чем у существующих на сегодняшний день аналогов. Препринт опубликован на arXiv.org.
На сегодняшний день одним из основных применений четвероногих роботов стала инспекция и мониторинг состояния оборудования: робособаки, оснащенные различными датчиками и камерами, патрулируют промышленные объекты и помогают персоналу вовремя обнаруживать и устранять возникающие неисправности. Во многом это связано с высокой проходимостью и устойчивостью ходячих четвероногих роботов. Робособаки могут, например, ходить по обычным лестницам, перепрыгивать препятствия, и передвигаться гуськом, пробираясь по сложному рельефу в труднодоступные места, куда не смогли бы добраться роботы на колесах.
Несмотря на столь широкие возможности в передвижении, которых четвероногие роботы достигли за последние годы, до сих пор они не моги справиться с такой распространенной частью промышленных объектов, как приставные лестницы. Сложность разработки эффективного алгоритма для карабканья по таким лестницам связана с разнообразием их конструкций и большими углами наклона, при которых роботу необходимо удерживать равновесие во время подъема. Существовавшие на сегодняшний день прототипы были не универсальны и справлялись с этой задачей крайне медленно.
Инженеры под руководством Марко Хуттера (Marco Hutter) из Швейцарской высшей технической школы Цюриха решили восполнить этот пробел и разработали нейросетевой алгоритм, основанный на обучении с подкреплением, под управлением которого робособака способна быстро и эффективно взбираться по приставным лестницам. Для более надежного захвата перекладин с круглым сечением робопса оснастили ступнями в виде крюков вместо стандартных для четвероногих роботов шаровых опор. Крюки позволяют роботу не только тянуть себя вверх, но и отталкиваться от ступенек без соскальзывания, что увеличивает эффективность и скорость восхождения.
Нейросетевой алгоритм управления основан на методе обучения с подкреплением и использует архитектуру «учитель-ученик». Политика «учителя» обучается в симуляции и имеет доступ к полной и точной информации о текущем состоянии робота и окружающей среды. «Ученик» же учится повторять действия политики «учителя», но при этом получает на вход зашумленные данные, имитирующие показания реальных сенсоров робота. В процессе обучения робот с крюками на ногах должен двигаться к заданной точке, преодолевая на пути приставную лестницу с различными параметрами: длиной, шириной, углом наклона, расстоянием между перекладинами, их формой и радиусом. В рамках метода обучения с подкреплением агент получал вознаграждения за правильные действия, стимулирующие робота двигаться к заданной цели, поддерживать контакт ног с лестницей, минимизировать колебания и избегать столкновений корпуса со ступеньками. Штрафы же начислялись за падения, соскальзывания с перекладин и другие ошибки, замедляющие или прерывающие подъем.
Готовую обученную политику «ученика» инженеры затем протестировали в симуляции и на реальном роботе модели ANYmal D производства швейцарской компании ANYbotics. В ходе экспериментов в симуляторе робот успешно преодолевал лестницы с различными параметрами, продемонстрировав высокую устойчивость к добавляемому шуму и внешним возмущениям. Средний показатель успешности попыток подъема в симуляции составил 96 процентов. В реальных экспериментах на лестнице длиной 1,8 метра, установленной под углами от 70 до 90 градусов, алгоритм продемонстрировал 90-процентную успешность. Средняя скорость восхождения составила 0,44 метра в секунду. Этот результат в 232 раза превзошел результаты других известных четвероногих роботов.
Также робособака под управлением алгоритма показала высокую устойчивость к незапланированным возмущениям в реальных экспериментах. К ее ногам и корпусу привязывали веревку, за которую внезапно тянули во время подъема по лестнице. Четвероногий робот, благодаря крюкообразным ступням и адаптивности системы управления, успешно сохранял равновесие, корректировал свои действия и продолжал подъем.
В будущем разработчики планируют научить робота спускаться по приставным лестницам вниз, а также интегрировать в систему управления данные с бортовой камеры глубины, чтобы робот мог самостоятельно ориентироваться в пространстве, а не полагаться на внешнюю систему захвата движений, которая использовалась в этой работе. Также, планируется оптимизировать конструкцию крюков для повышения надежности захвата.
Кстати, ноги четвероногих роботов можно использовать не только для передвижения, но и для манипуляций окружающими предметами. Некоторое время назад, швейцарские инженеры представили алгоритм, который позволяет использовать одну из ног робособаки для выполнения различных действий.