Google предложила «стереть» VR-очки с лица пользователя

Daydream Labs

Программисты Google из подразделения Daydream Labs, которое занимается разработками в области виртуальной реальности, представили технологию смешанной реальности, которая «стирает» очки виртуальной реальности с лица пользователя. Об этом сообщается в блоге Google Research.

Смешанной реальностью обычно называют изображение пользователя в виртуальной или дополненной реальности, доступное стороннему наблюдателю. Как правило, для этого используется хромакей — пользователя в VR-очках на фоне контрастного одноцветного экрана снимает камера, и вместо фона накладывается изображение из виртуального окружения. Такой подход позволяет наглядно увидеть со стороны поведение другого человека в виртуальном мире, однако его лицо по-прежнему закрыто очками, поэтому нельзя точно определить выражение лица или направление взгляда.

Для того, чтобы «стереть» оборудование и показать выражение лица и направление взгляда пользователя, в Google использовали технологии машинного обучения и трехмерного компьютерного зрения. Подробностей представители компании не раскрывают, описывая лишь общий принцип создания изображения с «прозрачными» VR-очками.

Сначала с помощью 3D-сканера разработчики построили динамическую модель лица пользователя, которая умеет моргать и смотреть в разные стороны в движении. Затем 3D-модель лица наложили на реальное изображение человека при рендеринге финального видео смешанной реальности, при этом для погружения в VR-мир используются модифицированные очки HTC Vive, которые отслеживают направление взгляда пользователя, «оживляя» модель. 

Несмотря на относительно правдоподобное реконструирование лица, оно по-прежнему остается 3D-моделью и может вызвать неприятные ощущения у стороннего наблюдателя — эффект «Зловещей долины». Для того, чтобы предотвратить это явление, разработчики оставили полупрозрачное изображение очков на голове.

Ранее разработчики из Daydream Labs создали виртуальный аватар в виде движущихся глаз, а также предложили бороться с троллями в виртуальной реальности, делая их «призраками» — аватар нарушителя социальных норм становится невидимым для других пользователей.

Николай Воронцов

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.