Новые ноги не помешали роботу учиться ходить

Инженеры из Disney Research разработали алгоритм для роботов, позволяющий им самостоятельно адаптироваться к изменениям конфигурации. С его помощью робот-паук смог научиться ходить вперед после того, как инженеры присоеденили к нему новые ноги. Разработка была представлена на конференции International Conference on Ubiquitous Robots 2018.

Некоторые животные умеют не только учиться ходить после рождения, но и довольно быстро адаптировать свои движения даже после потери конечностей. Например, такой способностью обладают сенокосцы — в случае, если их схватил хищник, они могут отбросить конечность и впоследствии практически полностью восстановить свою скорость передвижения и способность к маневрированию.

Инженеры из Disney Research под руководством Кацу Яманэ (Katsu Yamane) из Disney Research решили научить роботов подстраивать свои навыки ходьбы под новые конфигурации, но не для борьбы с хищниками, а для того, чтобы облегчить создание алгоритмов для сложных роботов с множеством ног. В своей работе авторы использовали разработанного в прошлом году шестиногого робота Snapbot. Каждая его нога отсоединяется от корпуса, причем предусмотрено три немного различающихся вида ног. В результате робот может иметь 700 различных конфигураций. В случае с одинаковыми и симметрично установленными ногами подобрать оптимальную походку вручную не так сложно, но для асимметричных модификаций это гораздо труднее, поэтому инженеры решили, что легче научить робота делать это самостоятельно.

Разработчики выбрали для этого метод обучения с подкреплением, при котором обучаемый алгоритм получает отклик от среды, соответствующий успешности его действий. В результате, алгоритм постепенно вырабатывает стратегию, при которой он получает от среды максимальную награду. Поскольку в случае сложной морфологии роботу сложно учиться даже таким способом, инженеры решили немного облегчить задачу — использовать навык, выученный для простой конфигурации, в качестве исходных данных при обучении хождению с более сложной конфигурацией. Изначально робот учился ходить с одной ногой, а при обучении ходьбе с несколькими ногами разработчики дублировали выученный навык для каждой ноги.

Инженеры создали автоматизированную среду обучения, позволяющую обучать алгоритм на реальном оборудовании, а не на модели, которая не учитывает реальное поведение соединений между деталями и другие особенности. Система состоит из видеокамеры, которая отслеживает, находится ли робот в заданной области, и механизма с тросом, который возвращает робота назад, когда он пересек виртуальную границу. В результате робот самостоятельно научился ползать или карабкаться с одной ногой, а затем смог перенести эти навыки на другие конфигурации с двумя и тремя ногами и тремя видами ног.

В прошлом году группа инженеров из Массачусетского технологического института разработала систему, позволяющую переносить выученные навыки между роботами разной конструкции. Например, авторы смогли успешно передать гуманоидному роботу Atlas навыки, полученные роботом Optimus.

Григорий Копиев