Oculus Quest научился следить за руками
Компания Facebook Technologies выпустила обновление для автономного VR-шлема Oculus Quest, позволяющее ему отслеживать движения рук пользователя с помощью камер, не используя контроллеры. Об этом сообщается в блоге Oculus.
В основном шлемы виртуальной реальности используют не для просмотра фильмов или роликов, а для активного взаимодействия с виртуальным миром в играх или образовательных приложениях. Для этого обычно используются штатные контроллеры, позволяющие отслеживать перемещения руки в целом, или же отдельных пальцев. Однако это не так удобно, как взаимодействие привычным образом со свободными руками. Для этого некоторые производители создавали внешние датчики захвата движения, но это «привязывает» пользователя к одной комнате с датчиками или требует закреплять датчик на самом шлеме.
В 2018 году разработчики Oculus представили новый VR-шлем Quest, одной из особенностей которого, помимо автономной работы, стали четыре камеры на передней поверхности, благодаря которым устройство может отслеживать свое перемещение относительно помещения. Теперь разработчики начали использовать камеры и для создания динамической модели рук. Они отмечают, что функцию удалось добавить только сейчас, потому что они смогли создать достаточно эффективные алгоритмы машинного обучения и создания модели кисти для каждой руки.
На начальном этапе отслеживание рук доступно только в собственных приложениях Oculus, но на следующей неделе сторонние разработчики получат доступ к SDK для работы с функцией распознавания, и смогут интегрировать ее в свои приложения.
Кроме взаимодействия с виртуальной средой со свободными руками в области виртуальной реальности есть и другая, хотя и смежная проблема. Она заключается в сложности воссоздания физического контакта с виртуальными объектами. Инженеры разработали немало решений этой проблемы, но пока они почти не используются в серийных устройствах. Например, существует немало прототипов VR-перчаток, мешающих кисти руки сжиматься, а также есть и более необычные устройства, такие как куб с пропеллерами, сопротивляющийся движению руки.
Григорий Копиев
Пока это лишь прототип
Компания Xiaomi показала прототип смартфона с креплением для объективов камер Leica. Это позволяет использовать в смартфоне намного большую по размеру и более совершенную оптическую систему, не увеличивая размеры самого устройства. Смартфоны вобрали в себя функции многих устройств, которыми раньше люди пользовались отдельно. И со временем они почти вытеснили с рынка целые классы потребительских устройств, в том числе навигаторы, MP3-плееры и фотокамеры, хотя последние остались популярным профессиональным инструментом. Во многом популярность смартфонов как устройства для съемки обусловлена именно тем, что носить с собой одно устройство гораздо удобнее, чем два. Но и качество съемки существенно повысилось, в основном за счет алгоритмов, о чем мы подробно рассказывали в материале «Зрячая математика». В аппаратном обеспечении тоже произошли заметные изменения, но в отличие от фотоаппаратов, в смартфонах фактически существует важное ограничение: компании-производители стремятся делать их как можно более тонкими. И хотя еще несколько лет назад крупнейшие производители стали делать блок камер выпирающим над основной частью корпуса, это все равно не позволяет разместить в смартфоне оптическую систему, сравнимую по размерам даже с камерами-«мыльницами». Отчасти эту проблему решили появившиеся несколько лет назад модули камер с перископической конструкцией, но в этом случае толщина смартфонов накладывает ограничение на ширину объектива. Xiaomi показала прототип смартфона, в котором используется классическая схема с выступающим блоком камер, но на него также можно закрепить объективы от полноценных фотокамер. Смартфон сделан на базе серийного Xiaomi 12S Ultra, в котором использовался круглый выступ с камерами. В оригинальном гаджете по центру использовалась камера с широкоугольным объективов, а в прототипе инженеры заменили ее на однодюймовую матрицу без объектива, прикрытую стеклом. Круглый выступ отличается от серийного 12S Ultra тем, что в нем есть резьба — на нее можно закрепить адаптер для байонета Leica M. Это позволяет использовать полноценные объективы от профессиональных камер, не меняя при этом толщину самого смартфона со снятым объективом. При этом без большого объектива пользователь не лишается возможности делать фотографии и видео: в устройстве есть и обычные встроенные камеры. Компания продемонстрировала работу смартфона с объективом Leica Summilux-M 35mm f/1.4, но потенциально он поддерживает любые объективы с тем же байонетом. Поскольку это прототип, он не будет производиться серийно, однако как это иногда бывает с концептами, компания может использовать наработки из этого проекта в будущих моделях. https://www.youtube.com/watch?v=gAC8atF2sXc Это не первый прототип Xiaomi, позволяющий увеличить длину оптической системы смартфона. В 2020 году компания показала телескопический модуль камеры, выезжающий из корпуса. Аппаратными инновациями в смартфонах занимаются и другие компании. Так, Sony весной выпустила смартфон с переменным оптическим зумом, а компания Glass Imaging создала для смартфонов модуль камеры с вытянутой линзой и анаморфным объективом.