Инженеры научили 12-тонный робоэкскаватор швырять камни

Швейцарские инженеры создали для 12-тонного автономного экскаватора HEAP нейросетевой алгоритм управления на основе обучения с подкреплением, который позволяет ему выполнять броски предметов в указанную точку. Используя свободно подвешенный на пассивных соединениях грейферный ковш, экскаватор под управлением алгоритма может бросать предметы на расстояние в диапазоне от 7,5 до 9,5 метров, что превышает радиус досягаемости стрелы. Работу алгоритмов протестировали бросками крупных камней и баскетбольного мяча, сообщается в препринте статьи, доступной на arXiv.org.

Автоматизация гидравлических машин, таких как экскаваторы, бульдозеры и погрузчики — перспективное направление, которое может повысить эффективность и безопасность работ в различных отраслях. Один из наиболее продвинутых проектов в этой области на сегодняшний день — разработанный швейцарскими инженерами автономный экскаватор HEAP (hydraulic excavator for an autonomous purpose, гидравлический экскаватор автономного назначения). Построен он на базе 12-тонного серийного швейцарского экскаватора Menzi Muck M545. Колеса у этой модели располагаются на подвижных гидравлических ногах с несколькими степенями свободы, используя которые экскаватор может передвигаться по сложному рельефу. Инженеры заменили стандартные гидроцилиндры на модифицированные, со встроенными датчиками усилия и степени раскрытия, чтобы отслеживать положение и состояние механизмов экскаватора.

Также машину оснастили датчиками GPS, камерами, лидарами и инерциальными измерительными устройствами. Благодаря такому набору сенсоров экскаватор получил возможность составлять динамическую карту окружения и отслеживать свое положение в пространстве. За прошедшее время разработчики научили экскаватор автономно передвигаться по неровной поверхности строительной площадки, с высокой точностью копать траншеи заданной формы, делать насыпи без вмешательства человека, а также самостоятельно возводить стены из необработанных каменных глыб, валунов и кусков бетона — HEAP сам укладывает их в устойчивые конструкции без использования какого-либо строительного раствора.

Новая работа инженеров, выполненная под руководством Марко Хюттера (Marco Hutter) из Швейцарской высшей технической школы Цюриха, посвящена разработке алгоритма, который наделяет автономный экскаватор способностью бросать предметы в заданную точку с помощью свободно подвешенного грейферного захвата. Этот тип инструмента предназначен для манипуляций сыпучими и объемными грузами: грунтом, металлоломом, крупными камнями и бревнами, а пассивный подвес без привода позволяет грейферу свободно раскачиваться на конце экскаваторной стрелы. Благодаря этому опытные операторы могут выполнять броски, перемещая объекты за пределы обычной рабочей области экскаватора.

Грейферный ковш HEAP имеет две пассивные степени свободы — он может свободно качаться в продольном и перпендикулярном направлениях. Для определения текущего положения к нему прикреплено беспроводное инерциальное измерительное устройство, которое питается от собственного аккумулятора. Оно измеряет угловые скорости и линейные ускорения по трем осям, рассчитывает углы ориентации ковша и передает эти данные на основной компьютер экскаватора. Всего для управления броском алгоритму доступны четыре привода: один из них вращает кабину вокруг оси, второй и третий отвечают за движение стрелы и рукояти ковша, а четвертый обеспечивает работу телескопической выдвижной части, на конце которой находится ковш. Максимальное расстояние, на котором экскаватор может захватывать объекты, составляет 7,5 метров. Задача алгоритма управления — выполнять броски на большее расстояние, используя динамику раскачивающегося ковша на подвесе.

Для обучения алгоритма использовалось обучение с подкреплением. Тренировка проводилась в симуляторе для роботов Isaac Gym, который позволяет моделировать динамику твердых тел. В этой среде была воссоздана модель HEAP, включающая все степени свободы и его динамические характеристики. С помощью алгоритма проксимальной оптимизации политики (Proximal Policy Optimization) было обучено два варианта контроллера: трехмерный, использующий все четыре привода, и двумерный, который не использует поворот кабины и может выполнять броски только вперед. Оба контроллера имеют одинаковую архитектуру и представляют собой нейросеть с двумя скрытыми слоями, содержащими 256 и 128 нейронов соответственно. На вход им подаются данные о положении и скорости «суставов» робоэкскаватора, пространственном положении ковша, координатах цели, а также предыдущие команды управления. На выходе алгоритм формирует новые команды управления: желаемую скорость для каждого привода и команду на открытие ковша. Политики обучались выполнять броски в цель, расположенную на расстоянии до 10 метров от экскаватора. Для повышения устойчивости алгоритмов к реальным условиям были применены методы доменной рандомизации: добавление случайных шумов в данные с датчиков и варьирование параметров модели экскаватора.

Готовые алгоритмы протестировали на реальном экскаваторе. По условиям эксперимента он должен был бросить баскетбольный мяч в цель, расположенную на расстоянии 9 метров, по 10 раз под управлением каждой из двух политик. Двумерный алгоритм показал среднюю точность по дальности 8,92 метра со стандартным отклонением 0,37 метра, а трехмерный — 8,9 метра со стандартным отклонением 0,42 метра. Точность по боковому смещению оказалась лучше у двумерного алгоритма. В среднем результат попаданий отклонялся от заданной точки на 5 сантиметров со стандартным отклонением 30 сантиметров. Средняя ошибка трехмерной версии алгоритма составила 14 сантиметров со стандартным отклонением 72 сантиметра.

Разработчики связывают такой разброс с тем, что трехмерный алгоритм использует вращение кабины для броска. Из-за этого траектория броска становится чувствительной к малейшим ошибкам в синхронизации движений. Тем не менее даже с учетом этих ошибок, экскаватор смог успешно выполнять броски на расстояние, превышающее стандартный радиус досягаемости его стрелы. В будущем разработчики планируют усовершенствовать алгоритм, добавив возможность бросать предметы в трехмерные цели и работать с сыпучими материалами.

Броски предметов в цель роботы меньшего размера успешно выполняли и раньше. Например, инженеры из Google научили робоманипулятор хватать бананы и другие предметы и бросать их в заданную точку, а разработчики компании Toyota обучили гуманоидного робота выполнять точные броски баскетбольного мяча в корзину одной рукой, имитируя движения профессиональных спортсменов.