Шлем дополненной реальности Hololens превратили в навигатор для слепых
Американские инженеры разработали приложение для шлема виртуальной реальности HoloLens, позволяющее слепым воспринимать окружающий мир через звуковые подсказки. Оно может вести пользователя по заданному маршруту, сообщая ему о приближающихся поворотах и препятствиях, например, ступеньках. Кроме того, виртуальные объекты, расположенные по пути, могут сообщать о своем местоположении, издавая звук или голос с определенной стороны, рассказывают разработчики в препринте, опубликованном в bioRxiv.org.
Обычно слепые и слабовидящие люди ориентируются в окружающем пространстве с помощью белой трости или собаки-поводыря, но инженеры разрабатывают более совершенные устройства. Как правило, они помогают в глобальной навигации — например, подсказывают названия заведений на улице или сообщают о приближающемся перекрестке. Но заменить белую трость, позволяющую чувствовать объекты в непосредственной близости, большинство из таких устройств все равно не может.
Группа инженеров под руководством Маркуса Майстера (Markus Meister) из Калифорнийского технологического института создала навигатор для слепых, позволяющий им перемещаться в помещениях и обнаруживать предметы вокруг. За основу они взяли уже имеющуюся аппаратную платформу — шлем дополненной реальности Microsoft Hololens. Он оснащен несколькими камерами, в том числе камерой глубины, и умеет создавать объемную карту окружающего пространства. Кроме того, в шлеме есть динамики, расположенные с обоих сторон головы.
Разработчики создали приложение для шлема, использующее эти возможности для аудионавигации в помещениях. Приложение может работать в нескольких режимах. В одном из них виртуальные объекты (которые можно привязать к реальным) могут издавать звук или голос, который за счет динамиков будет восприниматься человеком именно с той стороны, с которой они находятся относительно него. За счет этого пользователь может узнать о расположении предметов в помещении или выбрать один из них и идти к нему, определяя направление по звуку. Кроме того, система оповещает пользователя о слишком близких к нему предметах или стенах, издавая шипящий звук.
Одно из главных применений программы — навигация по заданному маршруту. Для этого маршрут необходимо предварительно разметить, обозначив на нем повороты и другие опасные участки. Во время навигации перед человеком возникает виртуальный помощник, который постоянно произносит «Следуй за мной». Благодаря тому, что динамики передают направление звука, человек может следовать в правильном направлении за помощником. Также помощник предупреждает о поворотах, ступеньках, перилах и других важных объектах впереди. Разработчики провели испытания навигатора на семи добровольцах, которые должны были пройти сложный маршрут на двух этажах. Несмотря на отсутствие предварительной тренировки, все испытуемые справились с задачей с первого раза.
В прошлом году другая американская группа инженеров создала навигатор для слепых, который также умеет передавать информацию об окружающих объектах, но не через звук, а через вибрацию и точки на дисплее Брайля. Он может предупреждать человека о приближении к любому объекту, а также распознавать стулья и столы поблизости.
Григорий Копиев
Несколько игроков в этих очках видят одни и те же виртуальные объекты
Компания Niantic представила прототип беспроводных очков дополненной реальности, позволяющих нескольким людям видеть одни и те же виртуальные объекты, привязанные к реальным объектам или местам. Шлемы и очки дополненной реальности позволяют человеку видеть реальный мир, но внедряют в него отдельные виртуальные объекты. Изначально AR-устройства в основном разрабатывались для обычных пользователей, но они получались дорогими, как правило, большими и очень ограниченными в своих возможностях. Из-за этого многие компании, разрабатывающие носимые AR-гаджеты, либо свернули эти проекты, либо переориентировали их на применение в качестве рабочего инструмента для крупных компаний и военных. По второму пути пошли такие компании, как Microsoft и Magic Leap. Помимо фокуса компаний на промышленном применении, развитию потребительских AR-очков мешает и то, что обычно такие гаджеты получаются большими, либо они требуют подключать по проводу смартфон или отдельный вычислительный модуль. Niantic, известная прежде всего как компания-разработчик Pokemon Go, представила прототип AR-очков, который отличается от большинства подобных устройств компактностью и наличием многопользовательского режима. Очки оснащены складным ремешком, в части которого, судя по всему размещается электроника. В них есть три камеры для разметки сцены перед ними: очки распознают поверхности и учитывают их при наложении виртуальных объектов. Для управления интерфейсом используется один контроллер. Одно из главных новшеств заключается в многопользовательском режиме работы. Он основан на визуальной системе позиционирования, которая позволяет связывать виртуальный объект с реальным местоположением так, чтобы сразу несколько людей в AR-очках видели его в одном месте. Это позволяет реализовать многопользовательские AR-игры, примеры которых компания показала в ролике. https://www.youtube.com/watch?v=sDNjVxX0LrE Очки выполнены на базе нового процессора Qualcomm Snapdragon AR2, рассчитанного на создание AR-устройств с общим потреблением менее ватта. При этом процессор обеспечивает задержку сигнала в пределах двух миллисекунд, поэтому на самих очках производится лишь часть вычислений, а остальные выполняет находящийся рядом смартфон или ноутбук. Niantic отмечает, что это не серийное устройство, а демонстратор технологий. Тем не менее, Qualcomm рассчитывает, что подобные серийные гаджеты на базе AR2 начнут выпускаться в 2023 году. Инновации в области AR-устройств касаются не только гаджетов, но и людей. Недавно мы рассказывали о системе, позволяющей с помощью электростимуляции мышц поворачивать голову пользователя AR- или VR-шлема, чтобы он обратил внимание на важную информацию.