Сенсорную перчатку научили различать и взвешивать предметы на ощупь

Американские инженеры создали перчатку с массивом датчиков давления. Благодаря нейросетевому алгоритму она может различать предметы, которые берет в руку пользователь, а также рассчитывать их массу с точностью около 55 грамм, рассказывают авторы статьи в Nature.

Практически все роботы при взаимодействии с объектами полагаются на камеры и алгоритмы компьютерного зрения. Учитывая прогресс в области таких алгоритмов, этот способ достаточно хорошо подходит для многих применений, но имеет и свои недостатки. К примеру, при работе с деформируемыми объектами роботу сложно адекватно оценить поведение предмета во время захвата. Кроме того, по данным с камер невозможно достоверно оценить массу объекта. Наконец, качество распознавания предметов сильно падает в условиях слабого освещения.

Инженеры под руководством Войцеха Матусика (Wojciech Matusik) из Массачусетского технологического института создали перчатку, способную распознавать предметы и оценивать их вес на ощупь, что может пригодиться при создании роботов с осязанием. За основу инженеры взяли вязаную перчатку. На ней закрепили пьезорезистивную пленку, с обеих сторон от которой через равные промежутки располагаются проводящие нити. Вместе они образуют массив 32 на 32 линии. Датчиками давления в такой конструкции выступают пересечения нитей, которых в перчатке 548 (на некоторых линиях количество пересечений меньше 32 из-за промежутков между пальцами).

Принцип работы перчатки основан на том, что при сжатии предмета в руке некоторые его части давят на перчатку и заставляют пьезорезистивную пленку уменьшать свое сопротивление, что можно измерить через проводящие нити. Поскольку перчатка содержит много датчиков, а при сжатии каждого предмета он оставляет на руке характерный след, соответствующий его форме, инженеры решили использовать перчатку для идентификации предметов подобно тому, как это делают люди.

Для идентификации разработчики использовали остаточную сверточную нейросеть ResNet-18, которую обучили на специально созданном датасете. Инженеры собрали его, хватая и поднимая 26 различных предметов и записывая получающиеся при этом «кадры» — показания со всего массива датчиков в определенный момент времени. В результате после пяти часов записи они получили 135,2 тысячи таких «кадров».

Во время работы алгоритм берет для классификации несколько «кадров», причем он выбирает их не случайным образом. Вместо этого он собирает все данные в несколько кластеров, соответствующих определенным хватам. В результате он выбирает самый характерный «кадр» из каждого кластера и анализирует их вместе. Эксперименты показали, что точность классификации среди 26 объектов при использовании восьми «кадров» составляет около 75 процентов, а точность «взвешивания» предметов в среднем по датасету составляет 56,88 грамм.

Это не первая работа инженеров из MIT, работающих над компьютерными системами распознавания предметов на ощупь. К примеру, в 2015 году группа инженеров из этого института научила робота с тремя пальцами распознавать объекты по кривизне их поверхности и твердости. А недавно разработчики из MIT представили робота, сортирующего мусор, сжимая его с помощью двух пальцев.

Григорий Копиев