Компания HTC представила дополнение для VR-шлемов — датчик, отслеживающий движения частей нижней половины лица. Вместе со шлемом, отслеживающим направление взгляда, он позволяет создавать в реальном времени анимированный аватар пользователя, копирующий его движения и мимику лица.
Сейчас VR-шлемы в основном используют для игры, просмотра кино и других развлечений. Вместе с этим разработчики VR-шлемов и программного обеспечения для них уже давно работают над программами для самостоятельной и совместной работы, а особенно сильно они обратили на это внимание после начала пандемии коронавируса, из-за которой многие перешли на удаленную работу. В последних моделях VR-шлемов для этого есть режим passthrough, который в реальном времени транслирует пользователю видео с камер на шлеме. Также в них есть режим, в котором люди из разных мест могут проводить совместную конференцию. Выглядит это так: пользователь сидит в своей комнате и видит на экране как ее, так и наложенных на нее людей и виртуальные предметы. Проблема заключается в том, что аватарам собеседников не хватает реалистичности, потому что пока в VR-устройствах почти нет датчиков для захвата движений лица.
HTC представила дополнительный датчик для своих шлемов, позволяющий им отслеживать мимику лица и в реальном времени переносить ее на виртуальный аватар. Датчик крепится на нижнюю часть шлема так, чтобы он находился перед ртом. В нем есть две камеры, работающие с частотой 60 герц и инфракрасная подсветка. Задержка датчика составляет 10 миллисекунд, поэтому движения губ, распознанные им, синхронизируются с голосом.
Компания адаптировала датчик для работы со своими шлемами и двумя популярными игровыми движками: Unity и Unreal Engine. Кроме того, его можно использовать вместе с моделью Vive Pro Eye, в которой есть датчики отслеживания движений глаз. В таком случае в аватаре будут в реальном времени анимироваться все части лица.
Другие компании тоже все чаше оснащают свои устройства новыми датчиками. Например, HP встроила в свой шлем датчики, отслеживающие движения мышц лица, размер зрачков и частоту сердечных сокращений, чтобы через их показания отслеживать когнитивную нагрузку на пользователя, а Varjo оснастила VR-шлем лидаром, чтобы более качественно "привязывать" виртуальные объекты к полу или стенам в режиме дополненной реальности.
Григорий Копиев
Пока это лишь прототип
Компания Xiaomi показала прототип смартфона с креплением для объективов камер Leica. Это позволяет использовать в смартфоне намного большую по размеру и более совершенную оптическую систему, не увеличивая размеры самого устройства. Смартфоны вобрали в себя функции многих устройств, которыми раньше люди пользовались отдельно. И со временем они почти вытеснили с рынка целые классы потребительских устройств, в том числе навигаторы, MP3-плееры и фотокамеры, хотя последние остались популярным профессиональным инструментом. Во многом популярность смартфонов как устройства для съемки обусловлена именно тем, что носить с собой одно устройство гораздо удобнее, чем два. Но и качество съемки существенно повысилось, в основном за счет алгоритмов, о чем мы подробно рассказывали в материале «Зрячая математика». В аппаратном обеспечении тоже произошли заметные изменения, но в отличие от фотоаппаратов, в смартфонах фактически существует важное ограничение: компании-производители стремятся делать их как можно более тонкими. И хотя еще несколько лет назад крупнейшие производители стали делать блок камер выпирающим над основной частью корпуса, это все равно не позволяет разместить в смартфоне оптическую систему, сравнимую по размерам даже с камерами-«мыльницами». Отчасти эту проблему решили появившиеся несколько лет назад модули камер с перископической конструкцией, но в этом случае толщина смартфонов накладывает ограничение на ширину объектива. Xiaomi показала прототип смартфона, в котором используется классическая схема с выступающим блоком камер, но на него также можно закрепить объективы от полноценных фотокамер. Смартфон сделан на базе серийного Xiaomi 12S Ultra, в котором использовался круглый выступ с камерами. В оригинальном гаджете по центру использовалась камера с широкоугольным объективов, а в прототипе инженеры заменили ее на однодюймовую матрицу без объектива, прикрытую стеклом. Круглый выступ отличается от серийного 12S Ultra тем, что в нем есть резьба — на нее можно закрепить адаптер для байонета Leica M. Это позволяет использовать полноценные объективы от профессиональных камер, не меняя при этом толщину самого смартфона со снятым объективом. При этом без большого объектива пользователь не лишается возможности делать фотографии и видео: в устройстве есть и обычные встроенные камеры. Компания продемонстрировала работу смартфона с объективом Leica Summilux-M 35mm f/1.4, но потенциально он поддерживает любые объективы с тем же байонетом. Поскольку это прототип, он не будет производиться серийно, однако как это иногда бывает с концептами, компания может использовать наработки из этого проекта в будущих моделях. https://www.youtube.com/watch?v=gAC8atF2sXc Это не первый прототип Xiaomi, позволяющий увеличить длину оптической системы смартфона. В 2020 году компания показала телескопический модуль камеры, выезжающий из корпуса. Аппаратными инновациями в смартфонах занимаются и другие компании. Так, Sony весной выпустила смартфон с переменным оптическим зумом, а компания Glass Imaging создала для смартфонов модуль камеры с вытянутой линзой и анаморфным объективом.