Японские и швейцарские инженеры создали носимое устройство, распознающее движения пальцев с помощью компактных ультразвуковых излучателя и приемника, приклеенных на кисть. Устройство анализирует изменения акустических свойств ультразвука, вызванные движением кисти, и определяет по ним жест. Кроме жестов одной рукой, система способна распознавать и прикосновения пальцев другой руки, рассказывают авторы статьи, представленной на конференции MobileHCI 2019.
Большая часть часть сегодняшней потребительской электроники управляется с помощью сенсорных экранов, кнопок и других механических органов управления. Однако они не всегда удобны. Яркий пример — умные часы. Они имеют небольшой экран, на который нельзя вывести крупные элементы интерфейса, а количество физических кнопок на них также обычно ограничено двумя-тремя.
В качестве решения проблемы инженеры предлагают использовать другие способы ввода информации. Например, американские и китайские разработчики создали прототипы умных часов с проектором, превращающих руку в сенсорный экран. A Google уже несколько лет работает над мини-радаром Soli, способным распознавать жесты руки и предназначенным для умных часов, а также смартфонов.
Инженеры под руководством Отмара Хиллигеса (Otmar Hilliges) из Швейцарской высшей технической школы Цюриха создали систему, позволяющую распознавать жесты руки с помощью ультразвука. Принцип работы системы основан на том, что при выполнении жестов форма кисти меняется. При этом вместе с формой меняются и резонансные частоты кисти, поэтому жесты можно распознавать, отслеживая эти изменения.
Разработчики создали два отдельных прототипа устройства (подключаемый к компьютеру и автономный), но оба имеют схожую конструкцию основной части. Она состоит из двух небольших, площадью три квадратных сантиметров, элементов, закрепляемых на внешней стороне кисти с помощью двусторонней клейкой ленты. Эта пара пьезоэлектрических элементов работает в качестве динамика, издающего ультразвуковые импульсы с частотой от 20 до 40 килогерц, и микрофона, регистрирующего вибрацию кисти.
Для анализа алгоритм превращает данные с микрофона в вектор. Затем вектор с помощью метода опорных векторов соотносится с тем или иным жестом. Разработчики обучили классификатор распознавать множество жестов разных типов. К примеру, он умеет распознавать движение большого пальца вдоль других или к одному из них, прикосновения к пальцам, а также прикосновения пальцев одной руки к ладони другой, причем он способен примерно рассчитывать местоположение и силу нажатия.
Эксперименты показали, что точность распознавания жестов составляет 84,4 процента. Авторы отмечают, что пока у их метода есть недостатки, к примеру, необходимость обучать алгоритм для работы с конкретным человеком.
В прошлом году другая группа инженеров создала носимое устройство для распознавания жестов с помощью ультразвука, состоящее из браслета и кольца. Кольцо с излучателем располагается на большом пальце, а браслет с микрофонами располагается на запястье. Принцип работы системы основан на том, что при прохождении через кисть акустические импульсы меняют свои свойства.
Григорий Копиев