Умный ковер рассчитал модель тела человека по пятну контакта

Американские инженеры создали сенсорный ковер, распознающий положение и тип действий человека. Они собрали множество видеозаписей людей, выполняющих разные действия на ковре, и научили его восстанавливать 3D-модель по отпечатку ног и других частей тела. Статья о разработке была представлена на конференции CVPR 2021.

Алгоритмы распознавания положения человека можно использовать в самых разных целях — развлекательных и серьезных, например, для автоматического распознавания насильственных действий. Традиционно для этого используются камеры и алгоритмы, составляющие по кадрам с них упрощенную модель тела из нескольких десятков ключевых точек. Эти алгоритмы свободно доступны и уже даже работают в реальном времени на смартфонах. Но они обладают недостатками, из-за которых их применение ограничено, а качество не всегда поддерживается на высоком уровне. Основные проблемы этого подхода заключаются в том, что он не работает или работает плохо, когда между камерой и человеком есть препятствие, а также, когда речь идет о коммерческих сервисах, у части пользователей возникают опасения за конфиденциальность, потому что зачастую кадры передаются на сервер для распознавания или проверки качества работы сервиса.

Группа инженеров из Массачусетского технологического института во главе с Войцехом Матусиком (Wojciech Matusik) создала сенсорный ковер или мат, способный рассчитывать модель тела стоящего на нем человека, не используя камеры. Ковер имеет размеры 1,8×1,8 метра и состоит из пьезорезистивной пленки, меняющей электрическое сопротивление при приложении внешней силы, и сети продольных и поперечных электродов. Вместе они образуют массив из 9216 датчиков, расположенных примерно в сантиметре друг от друга. Чувствительность датчиков составляет 0,3 килопаскаля, а максимальное измеряемое давление — 14 килопаскалей. Авторы отмечают, что ковер просто собирать, а его себестоимость составила примерно 100 долларов.

Инженеры использовали для вычисления 3D-модели тела по карте давления нейросеть. Хотя сам ковер работает без камер, совсем без них авторы не обошлись: они обучали устройство на парах «карта распределения давления — 3D-модель», и для получения соответствующих моделей им пришлось собрать датасет с помощью двух камер и алгоритма создания моделей тела OpenPose. Во время создания датасета 10 добровольцев выполняли на ковре 15 разных действий, например, сидели и отжимались, подключенный к ковру компьютер записывал показания датчиков давления, а алгоритм по данным с камер создавал 3D-модель тела из 21 точки. В результате они получили 1,8 миллиона таких пар, что позволило обучить сверточную нейросеть создавать 3D-модель, имея только карту давления.

После обучения разработчики проверили качество работы алгоритма. Для этого они попросили добровольцев выполнить 10 разных действий, а алгоритм должен был распознать соответствующее действие. В этом эксперименте точность классификации составила 97,8 процента. Также они рассчитали среднюю ошибку локализации точек модели:

Это не первая работа этой группы инженеров, в которой они используют массив датчиков для определения параметров контактирующих с ними объектов. В 2019 году они создали перчатку, которая может распознавать предметы в руке и рассчитывать их массу.

Григорий Копиев