Зеркальные полусферы снабдили картонный VR-шлем системой захвата движения

Американские инженеры создали насадку для VR-шлемов, в которых вставляется смартфон, позволяющую определять позу тела и губ пользователя, а также его внешний вид. Насадка состоит из двух зеркальных полусфер, установленных напротив камеры смартфона, и позволяющих ей выступать в качестве простой камеры глубины. Разработка была представлена на конференции UIST 2019, статья опубликована на ее сайте.

Многие современные системы виртуальной реальности оснащаются датчиками для захвата движения, что позволяет более реалистично изображать пользователя в виртуальном мире и использовать руки для взаимодействия с объектами. Обычно такая система состоит из нескольких камер на передней поверхности шлема, направленных в разные стороны. Однако помимо полноценных VR-шлемов есть шлемы начального уровня, работающие благодаря вставляемому в них смартфону, выводящему изображение виртуального мира на экран.

Поскольку большинство современных смартфонов оснащаются относительно качественными камерами, инженеры из Университета Карнеги — Меллона под руководством Роберта Сяо (Robert Xiao) предложили использовать встроенную камеру для отслеживания движений тела пользователя. В шлемах, требующих для своей работы установки смартфона, смартфон располагается таким образом, что его камеры направлены по направлению от пользователя. Это не позволяет использовать их для захвата движений тела. Авторы решили эту проблему с помощью двух зеркальных полусфер напротив камеры.

Прототип, созданный инженерами, состоит из простого шлема (за время разработки они использовали разные модели, в том числе Google Cardboard), проволоки и закрепленных на ее конце двух полусфер с зеркальным покрытием. Благодаря такой форме зеркал камера смартфона способна захватывать существенную часть окружающего пространства, в том числе всю переднюю часть тела человека. Пара полусфер вместо одной нужна для того, чтобы алгоритмы могли составлять из двух кадров, снятых с разных ракурсов, данные о глубине на кадре.

После съемки кадра он пересылается со смартфона на сервер. Там сначала происходит "развертка" сферических изображений в прямоугольные, что возможно благодаря данным о расстоянии от камеры до сферы, угле съемки, а также калибровки. После этого прямоугольное изображение анализируется алгоритмом OpenPose, который размечает на теле ключевые точки, соответствующие положениям суставов и других частей. Для получения данных о форме губ используется отдельная нейросеть, способная различать пять их положений.

Авторы предлагают использовать такую систему, чтобы распознавать жесты пользователя и позволять ему управлять приложениями с помощью рук. Кроме того, они показали еще одно применение: они научили алгоритм создавать по данным с камеры виртуального аватара, раскрашенного так же, как и одежда пользователя.

Недавно перспективы всего направления виртуальной реальности на основе смартфонов были поставлены под сомнение решением Google отказаться от платформы Daydream. Компания заявила, что за годы существования платформы ей так и не удалось завоевать популярность как среди пользователей, так и среди разработчиков, создающих приложения.

Григорий Копиев