HP представила VR-шлем с отслеживанием когнитивной нагрузки

Компания HP представила шлем виртуальной реальности с несколькими биометрическими датчиками. Они позволяют отслеживать когнитивную нагрузку на пользователя и применять метод фовеального рендеринга.

Стандартный VR-шлем имеет экран, инерциальный датчик для отслеживания поворотов головы и наушники, хотя их можно заменить на колонки в комнате. Этого достаточно для игр, но шлемы виртуальной реальности используют не только для развлечений, а, к примеру, для работы и тренировок военных. Во время обучения, тренировок или реальной работы может быть полезным следить за тем, насколько тяжело выполнять задания и какой уровень стресса в текущий момент у человека. Например, это может быть важным при обучении пилотов, для которых продолжительный сильный стресс может быть опасным.

Компания HP разработала VR-шлем Reverb G2 Omnicept Edition, который позволяет отслеживать когнитивную нагрузку на пользователя сразу по нескольким показателям. В нем установлены датчики, которые отслеживают движения мышц лица, размер зрачков, направление взгляда и частоту сердечных сокращений. Данные с датчиков собираются в реальном времени и их можно либо просто записывать, либо использовать, чтобы подстраивать аспекты виртуального мира под состояние человека. В SDK для шлема есть набор алгоритмов машинного обучения, которые в реальном времени превращают сырые данные с датчиков в полезные метрики, к примеру, уровень когнитивной нагрузки. В будущем разработчики HP планируют добавить возможность создавать в реальном времени 3D-модель лица и определять эмоции пользователя благодаря тому, что во внутреннюю часть шлема встроены камеры над лицом.

Датчик направления взгляда необходим также и для фовеального рендеринга — метода, позволяющего использовать большую часть вычислительной мощности для рендеринга в центральной области зрения, а периферийные рендерить с меньшим качеством. Для фовеального рендеринга разработчики должны использовать движок Unity с соответствующим плагином.

В шлеме используются экраны с разрешением 2160×2160 пикселей для каждого глаза, работающие на частоте 90 герц. В нем используется наружный тип отслеживания положения шлема и окружающих объектов, работающий благодаря четырем камерам на корпусе. Шлем будет поддерживать платформы SteamVR и Microsoft Mixed Reality. Продажи устройства начнутся весной 2021 года по пока необъявленной цене (Reverb G2, на котором основан новый шлем, стоит 600 долларов).

Недавно Facebook представила новый автономный VR-шлем Oculus Quest 2 и объявила о смене концепции: теперь она будет разрабатывать только автономные шлемы и технологии, позволяющие при необходимости подключать шлем к компьютеру, чтобы получать более высокое качество изображения.

Григорий Копиев