Разработчики исследовательского подразделения Microsoft создали интерактивный мат, позволяющий интегрировать реальные объекты в компьютерные программы. Он может распознавать прикосновение объектов, их форму и перемещение по поверхности мата, а также жесты рук пользователя рядом с поверхностью. Создатели системы продемонстрировали несколько вариантов ее использования, к примеру, в качестве интерактивного поля, которое игроки могут для карточных игр, сообщается в блоге компании, а также статье с описанием разработки, которая будет представлена на конференции CHI 2018.
Взаимодействие с компьютерами в основном подразумевает, что все объекты виртуальны и отображаются на экране, а управление ими происходит с помощью устройств ввода, таких как мышь, клавиатура или контроллер. В качестве одного из перспективных способов взаимодействия людей с компьютерами предлагается технология дополненной реальности, которая позволяет виртуальным объектам «выйти» за пределы компьютерного экрана в реальный мир. Но она не позволяет сделать обратного — интегрировать реальные объекты в виртуальный мир.
Инженеры из Microsoft Research под руководством Хайянь Чжан (Haiyan Zhang) создали в рамках проекта Zanzibar систему, которая позволяет использовать настоящие объекты для взаимодействия с виртуальным миром. В ее основе лежит специальный складываемый мат размером близкий к формату A3, в одном из торцов которого располагается жесткий корпус с вычислительными компонентами и аккумуляторами, которых достаточно для двух часов работы. В мягкой части мата расположены массивы NFC-антенн и емкостных датчиков.
Поскольку создатели решили использовать не единую NFC-антенну, а массив небольших антенн, мат может распознавать сразу несколько NFC-меток на расстоянии до трех сантиметров от своей поверхности и определять их точное положение. Помимо этого объекты могут использовать энергию антенн для питания простых компонентов, к примеру, светодиодов. Массив емкостных датчиков позволяет мату определять место прикосновения к нему, форму контакта и даже распознавать движение рук в десяти сантиметров от поверхности.
Создатели мата продемонстрировали множество сценариев его использования в игровых и образовательных целях. Например, для него можно создавать игровые фигурки с NFC-меткой, которая будет распознаваться системой и управлять персонажем в игре в соответствии с перемещением реальной фигурки. Также мат может служить полем, на которое игроки будут выкладывать карты в карточных играх — они будут распознаваться системой и участвовать в бою. Кроме того, создатели показали, что мат можно применять для обучения. К примеру, пользователь может выкладывать NFC-карточки с буквами, которые необходимо «обрисовать» движением пальца.
Разработчики написали SDK для создания программ, поддерживающих устройство. SDK адаптирован для игр под Windows и iOS на популярном игровом движке Unity. С его помощью две игровые студии создали карточные игры для мата, для управления которыми используются реальные карты, фигурки или жесты рук.
Отчасти похожую систему Amiibo разработала и применяет в нескольких своих игровых приставках компания Nintendo. Они могут распознавать приближение специальных фигурок или карт персонажей с NFC-метками и совершать действия в игре, например, призывать соответствующего персонажа или получать его одежду. Аналогичную систему Skylanders производит компания Activision.
Григорий Копиев