Наручные датчики для AR-очков отследили положение руки без камер

Компания Finch Technologies представила контроллер для управления устройствами виртуальной и дополненной реальности при помощи жестов. Он состоит из двух модулей, надеваемых на палец и плечо. Внутри них расположены гироскопы и акселерометры, позволяющие отслеживать положение руки и ее движения по шести осям, причем даже за пределами поля зрения, в отличие от VR- и AR-шлемов с визуальной системой отслеживания.

В текущем поколении устройств дополненной и виртуальной реальности используется несколько наиболее частых схем управления и взаимодействия с виртуальными объектами. Самый распространенный и простой вариант — контроллер, который человек держит в руке, распознающий движения при помощи акселерометра и гироскопа. Такие устройства устроены просто и стоят дешево, но отслеживают лишь направления поворотов, поэтому годятся только для того, чтобы указывать на виртуальные объекты.

Более совершенные системы следят за движениями рук, контроллеров и шлема с помощью камер, и они способны определять текущее положение отслеживаемых объектов в пространстве. В зависимости от реализации, камеры могут быть расположены либо снаружи шлема в виде отдельных трекеров, к примеру, на столе в комнате, либо в самом шлеме. Оба варианта визуального отслеживания достаточно хорошо работают в большинстве случаев, но имеют недостатки. Главный из них заключается в том, что они не работают, если между камерой и отслеживаемым предметом нет прямой видимости. Как правило, это случается, когда между ними есть другой объект, но если камеры встроены в сам шлем, то для этого достаточно даже просто отвести руку назад, за пределы поля зрения камер. Наконец, многие системы визуального отслеживания используют инфракрасные камеры и светодиоды, поэтому они плохо работают при ярком солнечном свете.

Компания Finch Technologies представила контроллер, который использует исключительно инерциальное отслеживание, но при этом может отслеживать текущее положение руки, а не просто направление ее движения. Контроллер состоит из двух частей: кольца на палец и еще одного модуля, который при помощи ремня одевается на плечо чуть выше локтя. В каждом из модулей есть шестиосевой инерциальный датчик. Если пользователь надел только кольцо, то оно будет работать подобно обычному инерциальному контроллеру, позволяя направлять указатель на нужные объекты, а при одновременной работе двух датчиков система составляет кинематическую модель руки и позволяет отслеживать текущее положение конца руки в пространстве. Также датчики могут распознавать некоторые простые жесты кисти, например, с их помощью пользователь может схватить виртуальный предмет рукой.

В кольце также есть сенсорная поверхность для большого пальца, которую можно использовать как тачпад, и датчик усилия. Кроме того, в нем есть вибромотор, который используется во время исполнения жестов, к примеру, когда рука хватает виртуальный объект.

Устройства рассчитаны на четыре часа активного использования на одном заряде аккумулятора. Изначально разработчики реализовали поддержку очков дополненной реальности Nreal и игрового движка Unity, но в дальнейшем планируют адаптировать устройства для основных платформ дополненной и виртуальной реальности, а также популярных операционных систем.

Саму идею использовать кольцо для управления очками дополненной реальности нельзя назвать новой. К примеру, еще в 2018 году такое устройство выпустила компания North, создавшая умные очки Focals. Однако, как и другие подобные устройства, оно не может отслеживать положение руки и используется только для простых жестов большим пальцем по поверхности кольца.