Кольцо с нейросетью распознало движения кисти

Немецкие инженеры создали датчик в виде кольца, способный отслеживать движения всей кисти. В нем установлены емкостные датчики, показания которых зависят от расстояния до соседних пальцев и кисти. Нейросеть получает эти данные и рассчитывает по ним модель кисти. Статья о разработке будет представлена на конференции IUI 2020, а ролик с ее описанием опубликован на YouTube.

Жестовые интерфейсы часто предлагаются исследователями в качестве альтернативы другим способом ввода, но пока они слабо распространены, во многом из-за технологических недостатков. Дело в том, что большая часть систем захвата движений кисти основана на дополнительных устройствах.

Например, существует достаточно популярный в инженерных проектах контроллер Leap Motion, который в том числе использовался при обучении нового кольцевидного датчика. Он создает модель руки благодаря инфракрасным излучателям и камерам, поэтому рука должна находиться прямо над ним. Есть и более удобные подходы, например, распознавание движения рук с помощью нескольких камер в VR-шлеме, как в Oculus Quest, но оно неприменимо вне виртуальной реальности.

Инженеры из Берлинского технического университета под руководством Шахина Албайрака (Sahin Albayrak) создали устройство для захвата движений в виде кольца на палец, которое не привязано к конкретному месту или сценарию использования. В отличие от большинства датчиков захвата движений, новое устройство не отслеживает движения напрямую, наблюдая за пальцами с помощью камер, или отслеживая сгибы пальцев с помощью датчиков изгиба.

Вместо этого в кольце установлено четыре электрода, которые по сути образуют четыре конденсатора, время зарядки и разрядки которых зависит от окружающих проводящих объектов рядом. Если расположение пальцев меняется, эти параметры также меняются, причем по-разному на каждом датчике. Сопоставив данные с четырех датчиков, устройство может подобрать соответствующее им расположение всех пальцев на кисти.

Инженеры решили эту задачу с помощью нейросети с долгой краткосрочной памятью (LSTM). Они создали свой датасет, пригласив 17 добровольцев, которые двигали пальцами над контроллером Leap Motion. Таким образом они набрали множество пар, состоящих из показаний датчиков и модели руки, созданной контроллером, что позволило обучить алгоритм выдавать точную модель на основе емкостных измерений.

В ролике можно видеть, что система обучилась создавать модель, повторяющую расположение пальцев в этот момент. Тестирование показало, что средняя точность измерений углов между всеми пальцами составляет 13 градусов.

Ранее мы рассказывали о браслете, который разрабатывает компания CTRL-Labs. Он надевается на запястье и неинвазивно считывает активность моторных нейронов в руке, что позволяет восстанавливать положение руки в конкретный момент.

Григорий Копиев