Ботинки с колесиками позволили пройтись по виртуальному миру в небольшой комнате
Американская компания Ekto представила ботинки, позволяющие человеку с VR-шлемом ходить по виртуальному миру, двигая ногами, но оставаться на месте в реальном мире благодаря тому, что устройство постоянно вращает колеса в подошве в обратном направлении. Разработчики позиционируют устройство как продукт для компаний, а не как гаджет для обычных пользователей, рассказывает VentureBeat.
В области виртуальной реальности есть не до конца решенная проблема по имитации двух аспектов реального мира: физического контакта с предметами и несоответствия размеров (виртуальный мир условно безграничен, а реальный, как правило, ограничен комнатой). Первую проблему пока в основном решают при помощи VR-перчаток, которые затрудняют движение пальцев и создают ощущение, что в руке находится реальный предмет. По второй проблеме тоже есть технические решения. Чаще всего применяют статичные стенды, на которых расположена всенаправленная беговая дорожка или похожая по действию конструкция, компенсирующая шаги пользователя. Но они довольно массивны и не очень удобны.
Компания Ekto представила более компактное решение — ботинки с колесами. Каждый ботинок состоит из двух частей с круглым основанием. Части можно раздвинуть, засунуть ногу в обычной обуви и зафиксировать ее с помощью двух ремней. В круглых основаниях находится главные элементы конструкции: активные и пассивные колеса. На каждой из двух частей ботинка закреплены датчики отслеживания местоположения HTC Vive Tracker. Они позволяют точно отслеживать перемещения и синхронизировать работу моторов с движением пользователя. Также на ботинке закреплен сменный аккумулятор.
Во время использования ботинки отслеживают направление движения человека и подстраивают направление круга с моторизированными колесами соответствующим образом. Во время шага ботинки работают следующим образом: когда человек поднимает левую ногу и двигает ее вперед, правая нога медленно сдвигается назад так, что при приземлении левая нога становится на то же место, куда она встала на предыдущем шаге. В результате человек двигает ногами и ощущает иллюзию перемещения, но фактически он стоит на одном и том же месте комнаты.
Разработчики отмечают, что ботинки предназначены не для обычных пользователей, а для компаний, проводящих VR-игры, представления или виртуальные экскурсии. Они не назвали цену, но отметили, что она будет доступной для бизнеса. Компания показала работу ботинок на примере трехминутной записи игры в Half-Life: Alyx.
От редактора
Компания не раскрывает массу ботинок и утверждает, что их рама сделана из углеволокна, но при просмотре демонстрации складывается ощущение, что носить их довольно тяжело. Кроме того, нынешняя версия работает медленно и не поддерживает бег по игровому миру. В будущем разработчики собираются исправить этот недостаток.
В 2018 году американские исследователи придумали, пожалуй, самый необычный метод компенсации движения пользователя VR-шлема. Они научились отслеживать саккады человека (быстрые непроизвольные движения глаз, во время которых мозг не обрабатывает входящую информацию) и в эти короткие промежутки поворачивать мир на экране. Повороты происходят на небольшой угол, но постепенно позволяют перенаправить человека в нужную часть комнаты незаметно для него.
Григорий Копиев
Они распознают слова с 95-процентной точностью с помощью нейросети
Американские инженеры разработали очки, способные распознавать речь по движению губ пользователя. Для этого в оправу очков встроены два миниатюрных эхолокатора, которые получают информацию о малейших движениях губ и кожи лица, а алгоритм машинного обучения предсказывает произнесенные слова и команды почти с человеческой точностью. Доклад по результатам работы представлен на конференции CHI’23. Системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях. Многие существующие технологии распознавания речи по мимике используют в качестве входных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, что может быть не всегда удобно и безопасно. Кроме того, в этом случае эффективность распознавания зависит от условий освещения. Инженеры из Корнельского университета под руководством Чэня Чжана (Cheng Zhang) решили применить вместо видеокамер эхолокацию. Они создали технологию EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота. Разработанный прототип устройства представляет собой обычные очки, в нижней части оправы которых с одной стороны расположена пара звуковых динамиков, которые излучают непрерывные частотно-модулированные ультразвуковые сигналы. Отраженные от различных участков кожи лица и губ сигналы затем попадают на установленную с противоположной стороны очков пару микрофонов. Для того чтобы сигналы от каждого из двух динамиков можно было различить, частоты излучаемых сигналов отличаются. Множество отраженных звуковых сигналов образуют профиль эха — последовательность изменяющихся во времени кадров, которая содержит информацию о расстоянии до окружающих поверхностей, от которых отражается звук. Из этих данных отфильтровываются шумы и паразитные сигналы от фоновых объектов окружения, находящихся на удалении, чтобы выделить информацию, относящаяся только к лицу пользователя. После этого данные подаются на вход остаточной сверточной нейросети ResNet-18, предназначенной для классификации изображений, а затем в полносвязный декодер, на выходе которого получают набор меток, соответствующий словам из набора команд, использованных в процессе обучения. Для демонстрации возможностей создатели технологии выбрали 32 слова, соответствующие наиболее распространенным командам управления приложениями на смартфоне, а также слова, обозначающие десять цифр. В процессе тренировки пользователи должны были повторять появляющиеся на экране слова и последовательности цифр как сидя за столом, так и в процессе ходьбы, для того, чтобы создать условия, приближенные к реальному мобильному использованию устройства. Обученную на данных одних пользователей модель использовали в процессе обучения других. Это позволило снизить время, необходимое на настройку алгоритма под конкретного человека. Разработчики протестировали устройство в нескольких реальных сценариях. Например, они использовали прототип EchoSpeech в качестве дополнительного устройства ввода при взаимодействии с программами на смартфоне и планшете, а также для управления музыкальным плеером, запуская и переключая треки, меняя уровень громкости с помощью шепота. Уровень ошибок при распознавании отдельных слов составлял в среднем около 4,5 процентов в командах и 6,1 процента в непрерывных последовательностях из 3-6 цифр. Эти показатели сравнимы со значениями неверно понятых слов в общении между людьми. Помимо проводной версии устройства, которую для удобства использовали в большинстве тестов, была также создана беспроводная версия устройства, передающая данные на смартфон через модуль Bluetooth с низким энергопотреблением. EchoSpeech позволяет распознавать речь по движениям губ, однако ученые уже разрабатывают технологию нейроинтерфейса, которая позволит синтезировать речь непосредственно по данным активности головного мозга.