Наушники считали выражение лица по форме щек

Tuochao Chen et al. / UIST 2020
Американские инженеры создали наушники с функцией распознавания выражения лица. На каждом наушнике есть камера, которая снимает боковую часть лица. Совмещая эти кадры алгоритм машинного обучения восстанавливает модель лица с высокой точностью, а также может распознавать некоторые слова без звука. Статья о разработке будет представлена на конференции UIST 2020.
Распознавание мимики лица используется не только для исследований, но и в повседневных пользовательских задачах. К примеру, в iOS можно использовать аватары Animoji, которые выглядят как персонажи мультфильмов и точно повторяют мимику пользователя. А NVIDIA недавно предложила передавать во время видеозвонков не видеопоток, а лишь карту ключевых точек лица, чтобы затем анимировать фотографию собеседника с ее помощью.
Современные алгоритмы могут весьма точно создавать карту ключевых точек в реальном времени, причем даже на смартфонах. Но для этого алгоритму необходима видеокамера, а значит, в случае со все тем же смартфоном, устройство нужно постоянно держать в руках перед собой, что далеко не всегда удобно. Инженеры под руководством Чэна Чжана (Cheng Zhang) из Корнеллского университета придумали необычный и удобный метод создания карт ключевых точек лица в реальном времени — с помощью наушников с камерами.
Инженеры создали два прототипа наушников: накладные наушники и раздельные наушники-вкладыши. Основная разница в них заключается в модулях камеры и расстоянии от кожи (1,5 сантиметра для вкладышей и 2,5 сантиметра для накладных). Камеры в них расположены таким образом, чтобы снимать боковую часть лица от рта до глаз. В текущем виде прототип пересылает данные по проводу сначала на Raspberry Pi, а затем на мощный компьютер для обработки.
В качестве примера авторы научили программу для смартфона отправлять стикеры с определенными эмоциями, считываемыми наушниками, а также переключать песни по беззвучным голосовым командам.
Недавно другая группа инженеров научила обычные беспроводные наушники распознавать жесты пальцем по коже в области уха. Метод использует микрофон, поэтому потенциально его можно использовать со многими моделями наушников без модификации.
Григорий Копиев