Роборука с камерами в пальцах научилась распознавать предметы наощупь

Американские инженеры разработали трехпалый манипулятор EndoFlex, способный определять предметы на ощупь с первого раза, используя метод оптического распознавания GelSight. Пальцы манипулятора сделаны из прозрачного силикона и имеют пластиковый скелет с встроенными в него сенсорами на основе светодиодов и камер, которые фиксируют деформации, вызванные удерживаемым предметом. Препринт работы опубликован на arXiv.org

С каждым годом роботы, которые созданы для работы рядом с людьми, становятся все более и более автономными, в связи с чем возрастают требования к их способности безопасно взаимодействовать с человеком и его окружением. Сейчас основную роль в этом играет зрение роботов, однако способность к осязанию не менее важна. Благодаря ей робот может определять свойства и форму объектов, которые оказываются в его манипуляторах, и то какую силу он может к ним приложить. Например, тактильные ощущения помогут отличать предметы, которые выглядят одинаковыми, но сделаны из разных по прочности материалов.

На данный момент существуют разработки, добавляющие способность к осязанию в манипуляторы роботов, но большинство из них уступает в универсальности человеческим рукам. Их прочный скелет позволяет с силой воздействовать на объекты, когда это необходимо, в то же время мягкие кожные покровы с большим количеством нервных окончаний дают возможность точно определять форму предметов и свойства материалов с помощью одного касания.

Для того чтобы наделить роботов схожими способностями, инженеры из Массачусетского технологического института под руководством Эдварда Адельсона (Edward Adelson) разработали тактильный манипулятор EndoFlex, который объединяет в своей конструкции преимущества жестких и мягких материалов. Манипулятор имеет три пальца, расположенные в виде буквы Y – два пальца, расположенные под углом 30 градусов друг к другу, находятся на одной стороне, а третий противопоставлен им.

Каждый палец представляет собой выполненный с помощью трехмерной печати пластиковый скелет, помещенный в оболочку из оптически прозрачного силикона, покрытого сверху краской с частицами алюминия. Пальцы закреплены на ладони – детали, в центре которой есть выемка для обхватываемого предмета, покрытая полиэтиленовой пеной для лучшего удержания. В движение их приводят три сервопривода с помощью тяг из рыболовной лески.

Скелет каждого пальца имеет по два сегмента, соединенных между собой гибкими элементами, образующими суставы. В каждый из сегментов встроены сенсоры касания, основанные на технологии GelSight. Они состоят из камеры и набора светодиодов красного, зеленого и синего цветов. Когда манипулятор обхватывает предмет, то мягкий полимер на пальцах деформируется в месте соприкосновения. В результате на поверхности, покрытой краской с частицами алюминия, образуется объемный отпечаток предмета, который подсвечивается изнутри через оптически прозрачный силикон светом от цветных светодиодов. Они создают цветовой градиент, нужный для работы алгоритма.

Изображения образовавшихся рельефов регистрируются шестью камерами (по две на каждом сегменте), которые находятся в толще силикона. Затем эти данные подготавливаются и подаются на вход остаточной нейросети ResNet-50 для классификации изображений тестовых предметов. Обучение алгоритма проводилось на наборе из трех предметов: игрушечной чашке, пластиковом апельсине и кубике рубика. Каждый из предметов захватывался манипулятором в различных положениях, для того чтобы получить больше информации о его форме. В результате размер набора данных достиг 500 изображений для каждого предмета. Большая часть из этого набора данных использовалась для обучения алгоритма, а оставшаяся была оставлена для валидации.

Точность модели распознавания на тестовом наборе составила 94 процента. В экспериментах с захватом предметов, которые заключались в том, что манипулятор захватывал каждый из предлагаемых предметов по десять раз, успешность классификации достигла 80 процентов. Апельсин был распознан правильно девять раз из десяти, в то же время классификатор испытывал небольшие затруднения с распознаванием игрушечной чашки и кубика Рубика. Точность их распознавания составила 80 и 70 процентов соответственно.

Разработчики связывают снижение точности с разрывами материала, возникшими в процессе работы манипулятора во время сбора тестовых данных, что повлияло на качество получаемых сенсорами снимков. Улучшить результат также мог бы помочь дополнительный сенсор, размещенный в «ладони». Однако в целом, авторы отмечают, что разработанному манипулятору для определения знакомого предмета «на ощупь» достаточно только один раз ухватить его, что стало возможным благодаря большому количеству сенсоров в пальцах.

Инженеры из Корнельского университета в разработанном ими датчике деформаций для мягких роботов тоже использовали оптический способ регистрации касаний. Построенный ими сенсор из полимерной сетки и оптических волокон позволяет регистрировать силу нажатия менее одного Ньютона и локализовать место с точностью менее одного миллиметра.