Компьютерное зрение позволило управлять робокентавром с помощью жестов

Европейские разработчики оснастили робота Centauro системой, позволяющей оператору управлять роботом без дополнительного оборудования. Она в реальном времени создает модель тела человека и превращает ее движения в движения соответствующих частей робота. На разработку, которая будет представлена на конференции ICARCV 2018, обратило внимание издание IEEE Spectrum.

Инженеры разрабатывают не только полностью автономных роботов, но и телеуправляемых, которые могут обладать широкими возможностями, но управление ими возложено полностью на оператора. Основной областью применения таких роботов их разработчики видят спасательные работы или другие операции в местах, в которых жизнь человека подвержена большому риску, но необходимо применять редкие и сложные навыки. Сами по себе разработки в этой области уже обладают достаточно впечатляющими способностями, но управлять такими роботами, как правило, очень сложно. Часть телеуправляемых роботов подчиняется командам с обычных контроллеров, а некоторые поддерживают экзоскелетное управление, при котором система отслеживает все движения тела человека и мгновенно превращает их в движения робота. Несмотря на то, что эта система считается наиболее удобной, она требует специальной подготовки, а также достаточно дорога и сложна в реализации.

Группа инженеров из нескольких европейских научных организаций представила в июле 2018 года роботизированную платформу Centauro. Робот имеет четыре ноги, на конце каждой из которых установлено поворотное колесо. Кроме того, у него есть корпус и две руки, а также массив из лидара, камеры глубины и нескольких обычных камер. Изначально разработчики заявляли о разработке экзоскелетного кресла для управления роботом, но теперь они показали систему управления, копирующую движения частей тела человека без применения контроллеров.

Для распознавания движений в системе используется камера глубины ASUS Xtion PRO, данные с которой передаются алгоритму OpenPose, часто применяемому для подобных задач. К примеру, недавно с его помощью создали систему, переносящую движения одного человека на видео с другим человеком. Алгоритм обрабатывает кадры видео в реальном времени и создает на их основе двумерную модель тела, состоящую из множества соединенных между собой ключевых точек. После этого система переносит данные двумерной модели на трехмерную и отдает эти данные планировщику движений робота.

Благодаря этому человек может без специальной подготовки управлять роботом, двигая своими руками и корпусом. Разработчики показали несколько примеров движений, к примеру, человек смог поднять коробку и повернуть рычаг. Стоит отметить, что алгоритм OpenPose позволяет отслеживать движения пальцев, а робот Centauro имеет на концах рук интерфейсы для замены манипуляторов, поэтому потенциально систему можно использовать и для выполнения более сложных задач с помощью роборук.

Помимо традиционной схемы с применением экзоскелета, которую, к примеру, выбрали разработчики из Toyota, Sarcos Robotics и Meltin, существуют и другие необычные подходы к управлению роботами. Одну из таких систем в прошлом году продемонстрировали инженеры из MIT. Они создали виртуальный кокпит, отображаемый в VR-шлеме, и позволяющий управлять роботом с помощью виртуальных контроллеров и видеть изображения с нескольких камер в разных областях кокпита.

Григорий Копиев