HTC научила VR-шлемы следить за движениями лица

Компания HTC представила дополнение для VR-шлемов — датчик, отслеживающий движения частей нижней половины лица. Вместе со шлемом, отслеживающим направление взгляда, он позволяет создавать в реальном времени анимированный аватар пользователя, копирующий его движения и мимику лица.

Сейчас VR-шлемы в основном используют для игры, просмотра кино и других развлечений. Вместе с этим разработчики VR-шлемов и программного обеспечения для них уже давно работают над программами для самостоятельной и совместной работы, а особенно сильно они обратили на это внимание после начала пандемии коронавируса, из-за которой многие перешли на удаленную работу. В последних моделях VR-шлемов для этого есть режим passthrough, который в реальном времени транслирует пользователю видео с камер на шлеме. Также в них есть режим, в котором люди из разных мест могут проводить совместную конференцию. Выглядит это так: пользователь сидит в своей комнате и видит на экране как ее, так и наложенных на нее людей и виртуальные предметы. Проблема заключается в том, что аватарам собеседников не хватает реалистичности, потому что пока в VR-устройствах почти нет датчиков для захвата движений лица.

HTC представила дополнительный датчик для своих шлемов, позволяющий им отслеживать мимику лица и в реальном времени переносить ее на виртуальный аватар. Датчик крепится на нижнюю часть шлема так, чтобы он находился перед ртом. В нем есть две камеры, работающие с частотой 60 герц и инфракрасная подсветка. Задержка датчика составляет 10 миллисекунд, поэтому движения губ, распознанные им, синхронизируются с голосом.

Компания адаптировала датчик для работы со своими шлемами и двумя популярными игровыми движками: Unity и Unreal Engine. Кроме того, его можно использовать вместе с моделью Vive Pro Eye, в которой есть датчики отслеживания движений глаз. В таком случае в аватаре будут в реальном времени анимироваться все части лица.

Другие компании тоже все чаше оснащают свои устройства новыми датчиками. Например, HP встроила в свой шлем датчики, отслеживающие движения мышц лица, размер зрачков и частоту сердечных сокращений, чтобы через их показания отслеживать когнитивную нагрузку на пользователя, а Varjo оснастила VR-шлем лидаром, чтобы более качественно "привязывать" виртуальные объекты к полу или стенам в режиме дополненной реальности.

Григорий Копиев

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Xiaomi встроила в смартфон крепление для объективов Leica

Пока это лишь прототип