Руки превратили в дисплеи в виртуальной реальности

Исследователи из Швейцарии и Израиля предложили новый тип интерфейса для виртуальной реальности. Они разработали игру-прототип, в которой человек в VR-шлеме видит выводимое изображение на ладони и ей же управляет активными элементами, поворачивая ее и сгибая всю кисть или отдельные пальцы. Статья была представлена на конференции CHI PLAY 2020.

Большая часть шлемов виртуальной реальности использует непрямое управление при помощи контроллеров, но в последние годы стали появляться модели с камерами, позволяющими шлему в реальном времени восстанавливать форму кистей рук. Это позволяет управлять интерфейсом и взаимодействовать с предметами напрямую, прикасаясь к ним пальцами. Это удобно для многих базовых взаимодействий: к примеру, пользователь может взять меч в руку или повернуть ручку двери так же, как он бы сделал это в реальном мире, а не при помощи кнопок на контроллере.

Группа исследователей под руководством Джулии Шатан (Julia Chatain) из Швейцарской высшей технической школы Цюриха и Даниэля Зиссермана (Danielle Sisserman) из Тель-Авивского университета предложила гибридный способ управления, который, с одной стороны, не требует контроллера и работает только с рукой человека, но с другой стороны, использует руку в качестве контроллера. В приложениях, использующих этот метод, весь интерфейс показывается на ладони руки (ее модели, создаваемой на основе камер на шлеме). По сути, в этой схеме ладонь выступает как аналог экрана смартфона — только в форме руки. А управление осуществляется с помощью жестов этой же рукой. Авторы создали четыре игры-прототипа, чтобы показать разные сценарии использования нового интерфейса, и протестировали их на VR-шлеме HTC Vive с контроллером Leap Motion, захватывающим движения кисти.

В первом прототипе на ладони отображается стилизованный под космос стол для пинбола, на котором есть очки, которые надо собирать. Пользователю доступны несколько жестов: большой палец вверх для начала нового уровня, сложенные четыре пальца (кроме большого) для активации лапок, сведение большого и указательного пальцев для нового шара и наклон ладони для того, чтобы шар покатился в соответствующую сторону.

Вторая игра — это раннер, в котором поле перемещается по ладони, а персонаж игрока находится в ее центре. Игрок может перемещать ладонь в сторону, чтобы не попадать в ямы или стены, а также атаковать врагов, сжимая большой палец. В еще двух приложениях игроку нужно выбрать правильный объект среди двух, отображаемых на двух ладонях, но двумя разными способами: в одном он выбирает наиболее тяжелый предмет, опуская и приподнимая ладони, а во второй просто сгибает пальцы на нужной ладони.

Авторы провели исследование на добровольцах, и большинство из них остались довольны предложенным интерфейсом. Тем не менее, исследователи отмечают, что в текущем виде у созданных ими игр есть недостатки. Например, в виртуальной реальности пользователи видят стандартную модель руки, не повторяющую их руку по форме, что может снижать реализм и чувство погружения в виртуальный мир.

Исследователи в области взаимодействия человека и компьютера работают над новыми интерфейсами не только для VR-устройств, но и для устройств дополненной реальности. Например, разработчики из Leap Motion, контроллер которой использовался в новой статье, предложили создавать с помощью AR-очков виртуальные носимые устройства. Они могут быть скрытыми, пока они не нужны, и появляться на руках при необходимости.

Григорий Копиев

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Заговор по переписке

Во Франции нашли и расшифровали 57 прежде неизвестных писем Марии Стюарт