Мини-радар Google Soli распознал количество листов в стопке бумаги

Канадские и британские инженеры научили мини-радар Google Soli распознаванию предметов и другим сложным действиям. К примеру, разработчикам удалось научить радар определять, сколько листов бумаги находится над ним, а также распознавать конкретные банковские карты. Статья была представлена на конференции IMWUT 2018.

В 2015 году Google представила проект Soli, в рамках которого инженеры компании разработали мини-радар, предназначенный для распознавания жестов пользователя. Он имеет размер в несколько миллиметров и работает в диапазоне частот 57-64 гигагерца, используя восемь каналов. Радар излучает радиоволны с помощью двух излучателей и принимает отраженные сигналы через четыре приемника. Целью инженеров Google была разработка интерфейса нового типа, который сможет заменить или дополнить сенсорные экраны в небольших устройствах. В качестве примера Google показала прототип умных часов со встроенным радаром, которыми можно управлять с помощью жестов в воздухе.

Инженеры под руководством Аарона Куигли (Aaron Quigley) из Сент-Эндрюсского университета показали, что этот радар можно использовать и для других целей. В качестве аппаратной платформы разработчики использовали сам радар, а также компьютер Intel NUC, на котором в реальном времени производилась обработка сигнала. Для обработки сигнала инженеры использовали свою предыдущую разработку RadarCat. После получения сигнала с радара он подвергается предварительной обработке, в результате которой каждой записи сигнала сопоставляется 661 признак. Затем этот набор признаков классифицируется свободным пакетом машинного обучения Weka при помощи методов случайного леса, скользящего контроля по отдельным объектам и опорных векторов. В результате алгоритм определяет объект или действие, имеющее наиболее похожий набор признаков.

После сбора множества обучающих примеров разработчики обучили алгоритмы классификации и продемонстрировали их возможности на примере шести типов задач. Инженеры показали, что радар способен считать количество объектов, сложенных друг на друга. К примеру, инженеры положили на радар колоду из 52 карт и убирали по одной. Точность определения количества карт в колоде составила 99,5 процента. При повторении эксперимента на стопке из 20 листов бумаги A4 точность составила 88,6 процента. Кроме того, алгоритмы оказались способны точно определять и порядок расположения объектов. В экспериментах с четырьмя банковскими картами точность определения их расположения составила 99,5 процента. Также инженеры показали, что алгоритмы радара способны идентифицировать отдельные объекты, рассчитывать расстояние до них и определять тип их движения.

Одна из проблем радара Google Soli, снижающая его точность, заключается в низкой мощности излучения. В марте 2018 года Google подала заявление в Федеральную комиссию по связи (FCC) США, в котором просила разрешить использование радара на более высокой мощности, и 31 декабря 2018 года комиссия выдала компании соответствующее разрешение.

Помимо Google Soli существуют и другие проекты, использующие необычные принципы работы для считывания жестов пальцами. К примеру, инженеры из Вашингтонского университета научили умные часы распознавать жесты пальцем с помощью динамика и микрофона, а американские и китайские инженеры создали умные часы, которые выводят изображение на руку пользователя и определяют прикосновение к элементам интерфейса с помощью массива инфракрасных датчиков расстояния.

Григорий Копиев