Дополненную реальность сделали более интерактивной

Американские разработчики создали прототип новой программы для смартфонов и планшетов, которая позволяет рисовать в дополненной реальности интерактивные элементы, взаимодействующие как между собой, так и с объектами реального мира. Например, она позволят «оцифровать» подвешенный на потолке маятник и «наклеить» на стену график, который будет в реальном времени отображать угол наклона маятника. Авторы подробно рассказали о разработке на своем сайте и в статье на arXiv.org, а также официально представят ее на октябрьской конференции UIST 2020.

На обеих основных мобильных платформах (Android и iOS) есть мощные системные фреймворки дополненной реальности. Они качественно отслеживают поверхности, чтобы «привязывать» виртуальные объекты к одному месту в реальном мире, умеют распознавать перекрытие виртуальных объектов реальными и даже подстраивать направление виртуального источника света под реальный. Чаще всего в приложении дополненной реальности пользователь размещает один объект на плоской поверхности и может наблюдать его с разных сторон, но в некоторых программах предусмотрены динамические взаимодействия. К примеру, в iOS 12 разработчики добавили приложение, которое распознает прямоугольные объекты и автоматически подсчитывает их размеры и площадь. 

Несмотря на то, что существует много отдельных алгоритмов компьютерного зрения и дополненной реальности, которые могут работать в реальном времени на мобильных устройствах, до сих пор AR-приложения сильно ограничивают пользователя в сценариях взаимодействия с виртуальными и физическими объектами.

Разработчики под руководством Дэниела Лейтингера (Daniel Leithinger) из Университета штата Колорадо в Боулдере создали приложение-прототип, демонстрирующее новые типы взаимодействий, возможные в приложениях дополненной реальности. Авторы разделили его работу на несколько типов операций. 

Поскольку в первую очередь разработчики отрабатывали взаимодействие с физическими объектами, как правило, сначала необходимо выделить интересующий предмет. Для этого достаточно перейти в режим выделения, нажать на предмет на экране, после чего он станет выделен белым цветом. Разработчики применили для этого отслеживание по цвету (HSV-величинам) с помощью открытого фреймворка OpenCV. На планшете авторов алгоритм работал в реальном времени с частотой 20-30 кадров в секунду.

Второй тип операций — это рисование динамических линий. К примеру, линией можно соединить выделенный объект и с другим статичным. Если затем передвинуть объект в другое место, линия в реальном времени последует за ним, а отображаемая на ней длина поменяется. В программе можно отслеживать и углы, если провести на экране не линию, а дугу. В таком случае программа тоже будет динамически менять длину дуги и показывать значение угла.

Параметры виртуальных линий и дуг можно связывать между собой. Например, если нарисовать две линии из одного центра, одна из которых идет к предмету, а вторая заканчивается в пустом месте, то, связав их углы между собой, можно получить пару линий, двигающихся симметрично. Также величины можно визуализировать. К примеру, можно нарисовать график или записать движение отслеживаемого объекта, а затем показать в пространстве его траекторию в виде точек или линии.

Авторы считают, что больше всего разработка пригодится в обучении. Например, учителя физики могут объяснять различные эффекты из курса механики, а фитнесс-инструкторы могут отмечать особенности упражнений. Также потенциально с помощью этого набора алгоритма можно создавать интерфейсы для взаимодействия с компьютером, состоящие из виртуальных и реальных элементов.

В 2018 году инженеры из Leap Motion, выпускающей датчики отслеживания рук, показали прототип приложения, добавляющего на руки пользователя интерактивные виртуальные носимые устройства. А в мае этого года французский программист выпустил приложение, копирующее объекты из реального мира и переносящее их в Adobe Photoshop.

Григорий Копиев