Браслет с тепловыми камерами оцифровал движения кисти
Американо-китайская группа инженеров представила прототип браслета, считывающего положения и жесты кисти. В нем установлено четыре инфракрасные камеры, которые направлены в сторону пальцев. Алгоритмы совмещают видео с камер и рассчитывают текущее положение всех пальцев и ладони, рассказывают авторы статьи в Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies.
Отслеживание положения кисти используют в VR-системах, чтобы пользователь мог естественным образом трогать виртуальные объекты, в бесконтактном управлении интерфейсами и в некоторых других сферах. Поскольку эта область уже весьма развита, в ней есть несколько стандартных подходов. Чаще всего используется отслеживание с помощью механических датчиков в перчатках и отслеживание по визуальным датчикам на самом шлеме, как это реализовано в Oculus Quest, или недалеко от руки, к примеру, на столе или на кисти, с помощью контроллера Leap Motion или аналогичных датчиков. Второй вариант не очень удобен и надежен, потому что при расположении не на теле пользователь становится привязанным к определенной области и должен держать руку в ней. А если закрепить датчик на руке, то он будет мешать, потому что он довольно громоздкий, а также не будет видно согнутые пальцы.
Инженеры под руководством Чэн Чжан (Cheng Zhang) из Корнеллского университета создали надеваемый на запястье браслет, который имеет небольшие размеры и отслеживает положение кисти сразу с четырех сторон. Браслет состоит из двух секций: на ближней к кисти установлено четыре камеры, снимающих в дальнем инфракрасном диапазоне с разрешением 32 на 24 пикселя. Данные с камер поступают на микрокомпьютер Raspberry Pi, а он в свою очередь пересылает их на более мощный компьютер, на котором работают нейросетевые алгоритмы.
Сначала четыре кадра обрабатываются сверточной нейросетью ResNet-44, а затем поступают на последний полносвязный слой, который по сути объединяет кадры и выступает в качестве декодировщика. На выходе алгоритм предоставляет модель кисти из 21 точки, связанных между собой и имеющих определенное положение.
Разработчики показали, что браслет позволяет определять положение кисти даже если человек держит в руке какой-то предмет. Тестирование на 11 добровольцах показало, что средняя ошибка определения положения сегментов между собой составляет 8,06 градуса.
Необычный подход к определению положения и движения кисти использует компания CTRL-Labs, которую в 2019 году поглотил Facebook. Ее инженеры разработали прототип браслета, который считывает активность мышц благодаря множеству электродов. Это позволяет улавливать намерения пользователя, даже когда он очень слабо напрягает мышцы и почти не двигает пальцами.
Григорий Копиев
Пока это лишь прототип
Компания Xiaomi показала прототип смартфона с креплением для объективов камер Leica. Это позволяет использовать в смартфоне намного большую по размеру и более совершенную оптическую систему, не увеличивая размеры самого устройства. Смартфоны вобрали в себя функции многих устройств, которыми раньше люди пользовались отдельно. И со временем они почти вытеснили с рынка целые классы потребительских устройств, в том числе навигаторы, MP3-плееры и фотокамеры, хотя последние остались популярным профессиональным инструментом. Во многом популярность смартфонов как устройства для съемки обусловлена именно тем, что носить с собой одно устройство гораздо удобнее, чем два. Но и качество съемки существенно повысилось, в основном за счет алгоритмов, о чем мы подробно рассказывали в материале «Зрячая математика». В аппаратном обеспечении тоже произошли заметные изменения, но в отличие от фотоаппаратов, в смартфонах фактически существует важное ограничение: компании-производители стремятся делать их как можно более тонкими. И хотя еще несколько лет назад крупнейшие производители стали делать блок камер выпирающим над основной частью корпуса, это все равно не позволяет разместить в смартфоне оптическую систему, сравнимую по размерам даже с камерами-«мыльницами». Отчасти эту проблему решили появившиеся несколько лет назад модули камер с перископической конструкцией, но в этом случае толщина смартфонов накладывает ограничение на ширину объектива. Xiaomi показала прототип смартфона, в котором используется классическая схема с выступающим блоком камер, но на него также можно закрепить объективы от полноценных фотокамер. Смартфон сделан на базе серийного Xiaomi 12S Ultra, в котором использовался круглый выступ с камерами. В оригинальном гаджете по центру использовалась камера с широкоугольным объективов, а в прототипе инженеры заменили ее на однодюймовую матрицу без объектива, прикрытую стеклом. Круглый выступ отличается от серийного 12S Ultra тем, что в нем есть резьба — на нее можно закрепить адаптер для байонета Leica M. Это позволяет использовать полноценные объективы от профессиональных камер, не меняя при этом толщину самого смартфона со снятым объективом. При этом без большого объектива пользователь не лишается возможности делать фотографии и видео: в устройстве есть и обычные встроенные камеры. Компания продемонстрировала работу смартфона с объективом Leica Summilux-M 35mm f/1.4, но потенциально он поддерживает любые объективы с тем же байонетом. Поскольку это прототип, он не будет производиться серийно, однако как это иногда бывает с концептами, компания может использовать наработки из этого проекта в будущих моделях. https://www.youtube.com/watch?v=gAC8atF2sXc Это не первый прототип Xiaomi, позволяющий увеличить длину оптической системы смартфона. В 2020 году компания показала телескопический модуль камеры, выезжающий из корпуса. Аппаратными инновациями в смартфонах занимаются и другие компании. Так, Sony весной выпустила смартфон с переменным оптическим зумом, а компания Glass Imaging создала для смартфонов модуль камеры с вытянутой линзой и анаморфным объективом.