Браслет и кольцо распознают жесты пальцами с помощью звука

Американские и китайские инженеры создали систему из браслета и кольца, способную распознать 22 жеста пальцами, в том числе 10 символов американского жестового языка. Кольцо на большом пальце излучает звуковые импульсы, которые меняют свои акустические свойства, проходя через пальцы к браслету с микрофонами, рассказывают разработчики в статье, которая была представлена на конференции CHI 2018.

Один из основных недостатков умных часов и браслетов заключается в том, что их сложно использовать как устройство ввода из-за того, что в большинстве из них управление интерфейсом осуществляется через небольшой сенсорный экран. В качестве альтернативы можно использовать голосовой ввод, но это не всегда удобно, особенно в общественных местах. Из-за этого инженеры предлагают множество других способов ввода, многие из которых пока применяются лишь в лабораторных прототипах, но в будущем могут быть усовершенствованы для внедрения в серийные устройства.

Группа инженеров под руководством Грегори Абоуда (Gregory Abowd) из Технологического института Джорджии создали носимое устройство, способное распознавать жесты пальцами. Оно состоит из кольца, закрепляемого на большом пальце, и браслета. В кольцо встроен акустический излучатель и микрофон, а в браслет еще три микрофона. Принцип действия системы основан на том, что свойства звука, воспринимаемого микрофонами, сильно зависят от пути прохождения звука по телу. Поскольку путь прохождения звука меняется, когда человек прислоняет большой палец к другим пальцам, система может определить по звуку, какой именно жест показал пользователь.

Во время работы излучатель на пальце десять раз в секунду воспроизводит звуковые импульсы с частотой от 20 герц до 6 килогерц, а микрофоны регистрируют сигнал после прохождения через руку. Затем алгоритм на основе метода опорных векторов сопоставляет сигнал с образцами 22 жестов — десять из которых обозначают числа в американском жестовом языке, а еще 12 представляют собой касание большим пальцем всех фаланг остальных пальцев. Разработчики провели испытания системы на добровольцах и средняя точность распознавания жестов составила 93,8 процентов для жестов с фалангами и 95,6 для жестового языка.

Авторы статьи отмечают, что у системы есть заметный недостаток — она требует калибровки и ее умение распознавать жесты зависит от конкретного пользователя. В будущем ученые планируют доработать систему для распознавания всех 26 букв американского жестового языка.

Другая группа американских и китайских инженеров также представила на конференции CHI 2018 прототип необычного носимого устройства, распознающего движение пальцев с помощью звука. Они создали умные часы без экрана, которые проецируют интерфейс на руку и распознают положение пальца на руке с помощью ультразвуковых датчиков расстояния, превращая руку в подобие сенсорного экрана. Кроме того существуют несколько прототипов перчаток, которые распознают жесты руки, измеряя изгиб пальцев.

Григорий Копиев