Смартфон научили распознавать предметы по стуку

Корейские инженеры разработали алгоритм, позволяющий смартфонам распознавать предметы при столкновении с ними. С его помощью пользователь может, например, запустить фитнес-трекер, стукнув смартфоном об велосипед. После тренировки алгоритма его точность составила до 99,7 процентов для некоторых объектов, сообщается в работе, которая будет представлена на конференции CHI 2018.

Для взаимодействия смартфонов с физическими объектами существует несколько основных подходов. Например, предметы можно оснастить Bluetooth- или NFC-метками, но со многими предметами это не очень неудобно — метки нужно наклеивать или другим образом закреплять на них. Также есть приложения, использующие компьютерное зрение для распознавания предметов через камеру смартфона, к примеру, Google Lens. Но для этого камеру нужно специально наводить на предмет, а в помещении должно быть достаточно светло.

Группа инженеров под руководством Сон-Чжу Ли (Sung-Ju Lee) из Корейского института передовых технологий (KAIST) выбрала другой подход — разработчики решили использовать для распознавания прикосновение или постукивание смартфона по предмету. Дело в том, что практически любой современный смартфон оснащается множеством датчиков. Инженеры выбрали три из них, регистрирующие эффекты, возникающие при столкновении: микрофон, акселерометр и гироскоп. При столкновении микрофон регистрирует возникающий звук, уникальный для каждого материала и формы предмета, а акселерометр и гироскоп записывают данные о смещении и повороте смартфона.

Для того, чтобы приложение могло различать предметы, разработчики использовали классификатор из свободного пакета машинного обучения Weka, основанный на методе опорных векторов. После обучения алгоритма разработчики проверили его эффективность на 15 добровольцах и 14 предметах: алюминиевой банке, книге и других. Авторы работы решили удостовериться, что приложение будет работать не только в лабораторных условиях, и проводили два теста для каждого добровольца, один из которых был шумной обстановке. Участников просили по 50 раз стукнуть смартфоном о каждый предмет, после чего эти данные собрались и анализировались.

Выяснилось, что приложение работает очень точно — для некоторых предметов точность составила 99,7 процентов, а самое низкое значение составило 94 процента, причем шумная обстановка слабо повлияла точность распознавания. Инженеры придумали и бытовое применение для приложения. С его помощью можно привязывать к физическим объектам действия на смартфоне. Например, пользователь может стукнуть предметом из магазина по смартфону и он автоматически добавится в корзину в интернет-магазине для будущего заказа. На видео можно увидеть несколько других примеров:

В прошлом году американские разработчики создали другое необычное приложение для смартфона, использующее физические предметы. Они предложили заменять USB-токены для двухфакторной аутентификации на бытовые предметы, такие как наручные часы. При входе в аккаунт пользователю нужно просто навести камеру на предмет, после чего алгоритм компьютерного зрения распознает его и примет токен.

Григорий Копиев