Робот открыл холодильник и принес оттуда пиво

Немецкие разработчики научили гуманоидного робота-помощника TIAGo самостоятельно искать путь к холодильнику, открывать его и приносить пиво. Модульный суперкомпьютер NVIDIA Jetson TX2, служащий зрительным центром робота, позволил ему не только эффективно проложить путь, но и найти пиво запрошенной марки по этикетке. Проект подробно описан на сайте ChallengeRocket.

Осенью прошлого года компания NVIDIA запустила Jetson Developer Challenge — конкурс для инженеров, которым предлагается использовать набор для разработки с модульным суперкомпьютером NVIDIA Jetson TX2 для улучшения своих проектов. Среди призов — денежное вознаграждение, видеокарта NVIDIA TITAN Xp, обучающие курсы и поездка на компьютерную конференцию GTC 2018, которая состоится в Кремниевой долине в марте этого года. 

Группа инженеров из Университета Кобленц-Ландау использовала Jetson TX2 в качестве зрительной системы робота TIAGo компании PAL Robotics. Суперкомпьютер помог роботу не только эффективно выстроить маршрут до холодильника и найти ручку для того, чтобы его открыть, но и выбрать пиво запрошенной марки. Этого удалось добиться благодаря алгоритму семантической сегментации, который выделяет объекты (в данном случае — продукты в холодильнике) на общем фоне и классифицирует их по форме, выделяя нужные (пивные бутылки и банки). Для обучения хватило всего лишь 60 изображений бутылок на 20 различных фонах.

В итоге TIAGo смог правильно выбрать нужное пиво, а затем — принести и подать ее одной из разработчиков. При этом робот смог закрыть холодильник, несмотря на то, что у него всего одна рука, занятая банкой пива. 

Научить робота приносить определенные вещи (в том числе и пиво) — задача многих разработчиков. С этим может помочь, например, виртуальная система, которую придумали разработчики из Алленовского института искусственного интеллекта: она состоит из трехмерных комнат, повторяющих жилые помещения. А робот Aeolus, разработанный одноименным американским стартапом, приносить пиво уже умеет (а также — расставлять посуду и мыть полы).

Елизавета Ивтушок

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Дрон проехался по земле внутри вращающейся сферической клетки

Это позволяет тратить в пять раз меньше энергии, чем при полете