Робоступня со встроенной камерой разглядит тип грунта под прозрачной подошвой

Китайские инженеры разрботали для четвероногих роботов сенсорную стопу Foot Vision с прозрачной подошвой. С помощью встроенной камеры и алгоритмов компьютерного зрения Foot Vision может оценивать силу контакта с поверхностью, определять локальный наклон поверхности под каждой ногой, а также распознавать тип грунта и обнаруживать возможное проскальзывание ног. Статья опубликована в журнале IEEE Robotics and Automation Letters.

Четвероногие роботы все чаще используются для работы в сложных средах, в том числе рассматривается возможность их применения в будущих экспедициях на другие планеты. В таких миссиях, где робот находится вдали от возможной помощи, чрезвычайно важна его надежность и устойчивость, так как падение может привести к повреждению дорогостоящего оборудования и провалу всей миссии. При этом известно, что тип поверхности, по которой движется ходячий робот, может критически влиять на его устойчивость, и робот, уверенно шагающий по бетону, может потерять равновесие на скользком льду, или споткнуться на неровной поверхности, покрытой острыми камнями.

Чтобы предотвратить падения, роботу необходимо чувствовать поверхность, определяя силу контакта и тип покрытия. Поэтому инженеры разрабатывают сенсорные системы для ног роботов, которые позволяют им адаптировать походку к изменяющимся условиям. Например, роболапа TRACE Paw, созданная инженерами из Норвегии и Индии, использует камеру, микрофон и алгоритмы машинного обучения для определения сил контакта и распознавания типа поверхности.

В проекте другой чувствительной роболапы, над которым работает группа разработчиков под руководством Цзя Чжэнь Чжуня (Zhenzhong Jia) из Южного университета науки и технологий в Шэньчжэне, тоже применяется камера для определения сил, воздействующих на ступню робота. Однако в нем нет микрофона для распознавания типа поверхности. Вместо этого инженеры сделали подошву прозрачной.

Новая робоступня, получившая название Foot Vision, состоит из четырех основных частей: подошвы, эластичной лодыжки, камеры и защитного кожуха. Подошва состоит из двух напечатанных акриловых пластин, одна из которых имеет в центре окно, а вторая прозрачна. Восемь черных винтов, равномерно распределенных по окружности, служат визуальными маркерами для камеры и одновременно соединяют пластины друг с другом. Лодыжка состоит из C-образных эластичных элементов из термопластичного полиуретана. Они обеспечивают податливость подошвы при контакте с поверхностью. Снаружи ступня покрыта чехлом из водонепроницаемой ткани, предотвращающей попадание внутрь пыли и влаги.

В качестве камеры используется недорогая модель с углом обзора 180 градусов. Она установлена в центре верхней пластины-адаптера, соединяющей лапу с голенью, и направлена вниз, чтобы видеть маркеры и поверхность под подошвой через прозрачное окно. Для равномерной освещенности вокруг камеры установлены четыре светодиода подсветки. В сборе Foot Vision имеет массу 120 грамм и высоту 60 миллиметров, диаметр подошвы — 100 миллиметров. Робоступня разработана специально для крепления к лапам четвероногого робота Unitree Go1, но ее конструкция может быть легко адаптирована для других роботов, а благодаря использованию недорогих компонентов и простой конструкции, ее стоимость не превышает 50 долларов.

Для определения сил, воздействующих на роболапу, Foot Vision использует алгоритм компьютерного зрения. Камера отслеживает смещение винтов-маркеров на подошве. Полученные данные используются для расчета пространственного положения подошвы относительно голени. Затем на основании этой информации алгоритм вычисляет шестимерный вектор сил контакта, включающий силы, действующие по трем осям, и три момента сил. Для этого используется многослойная нейросеть, обученная на большом наборе данных, содержащем различные варианты нагрузки, приложенной к ступне на испытательном стенде. Модель состоит из четырех скрытых слоев со 1024, 512, 128 и 64 нейронами соответственно.

В результате Foot Vision может точно оценивать силы контакта в реальном времени с частотой 100 Герц. Кроме того, благодаря прозрачной подошве, встроенная камера может непосредственно видеть тип поверхности и, например, распознавать соскальзывание ноги. В проведенных экспериментах ступни Foot Vision, установленные на ноги робособаки Go1, успешно определяли мягкий, средний и твердый типы грунта, а также могли оценить локальный наклон поверхности под каждой ногой как в статическом положении, так и во время движения робота. В будущем разработчики планируют усовершенствовать конструкцию, используя более прочные материалы и добавив защиту от бликов для камеры. Также они планируют интегрировать данные с Foot Vision в алгоритмы управления роботом, чтобы повысить его стабильность и эффективность на неровной местности.

Если падения все же не удается избежать, то важно, чтобы робот оказался прочным. Недавно компания Unitree показала процесс экстремального физического тестирования своих робособак Go2 и B2. На опубликованных кадрах роботы подвергаются сильным внешним воздействиям: сотрудники компании толкают их ногами, бьют со всей силы деревянной палкой, а также поднимают и бросают на землю.