Немецкие инженеры создали датчик в виде кольца, способный отслеживать движения всей кисти. В нем установлены емкостные датчики, показания которых зависят от расстояния до соседних пальцев и кисти. Нейросеть получает эти данные и рассчитывает по ним модель кисти. Статья о разработке будет представлена на конференции IUI 2020, а ролик с ее описанием опубликован на YouTube.
Жестовые интерфейсы часто предлагаются исследователями в качестве альтернативы другим способом ввода, но пока они слабо распространены, во многом из-за технологических недостатков. Дело в том, что большая часть систем захвата движений кисти основана на дополнительных устройствах.
Например, существует достаточно популярный в инженерных проектах контроллер Leap Motion, который в том числе использовался при обучении нового кольцевидного датчика. Он создает модель руки благодаря инфракрасным излучателям и камерам, поэтому рука должна находиться прямо над ним. Есть и более удобные подходы, например, распознавание движения рук с помощью нескольких камер в VR-шлеме, как в Oculus Quest, но оно неприменимо вне виртуальной реальности.
Инженеры из Берлинского технического университета под руководством Шахина Албайрака (Sahin Albayrak) создали устройство для захвата движений в виде кольца на палец, которое не привязано к конкретному месту или сценарию использования. В отличие от большинства датчиков захвата движений, новое устройство не отслеживает движения напрямую, наблюдая за пальцами с помощью камер, или отслеживая сгибы пальцев с помощью датчиков изгиба.
Вместо этого в кольце установлено четыре электрода, которые по сути образуют четыре конденсатора, время зарядки и разрядки которых зависит от окружающих проводящих объектов рядом. Если расположение пальцев меняется, эти параметры также меняются, причем по-разному на каждом датчике. Сопоставив данные с четырех датчиков, устройство может подобрать соответствующее им расположение всех пальцев на кисти.
Инженеры решили эту задачу с помощью нейросети с долгой краткосрочной памятью (LSTM). Они создали свой датасет, пригласив 17 добровольцев, которые двигали пальцами над контроллером Leap Motion. Таким образом они набрали множество пар, состоящих из показаний датчиков и модели руки, созданной контроллером, что позволило обучить алгоритм выдавать точную модель на основе емкостных измерений.
В ролике можно видеть, что система обучилась создавать модель, повторяющую расположение пальцев в этот момент. Тестирование показало, что средняя точность измерений углов между всеми пальцами составляет 13 градусов.
Ранее мы рассказывали о браслете, который разрабатывает компания CTRL-Labs. Он надевается на запястье и неинвазивно считывает активность моторных нейронов в руке, что позволяет восстанавливать положение руки в конкретный момент.
Григорий Копиев
Ученые проанализировали следы на 36 статуях
Китайские ученые проанализировали 79 отпечатков пальцев, хорошо сохранившихся на 36 терракотовых воинах из знаменитого мавзолея Цинь Шихуанди. Они обнаружили, что чуть меньше половины следов оставили взрослые мужчины, а все остальные отпечатки, по-видимому, принадлежали женщинам и подросткам или детям. Как сообщается в статье, опубликованной в Journal of Cultural Heritage, полученные данные опров…