Умные очки расшифровали окружающие звуки для глухих

Инженеры из Google прототип умных очков для людей со слуховыми нарушениями. Они работают вместе со смартфоном, который распознает окружающие речь и звуки, и отображают их в реальном времени в поле зрения пользователя. Поскольку за распознавание отвечает смартфон, аккумулятора очков хватает на 15 часов непрерывной работы. Разработка была представлена на конференции UIST 2020.

Смартфоны заметно упростили жизнь людям с полной или частичной потерей слуха, потому что в них есть функция распознавания речи. До недавнего времени она отсылала запись звуков на сервер для обработки и получала в ответ текст, а в последнее время стали появляться полностью локальные расшифровщики речи, работающие почти мгновенно. Таким образом, при необходимости человек с потерей слуха может распознавать речь при помощи смартфона и печатать ответы на клавиатуре. Но такая модель разговора работает только в том случае, если оба человека находятся рядом, а глухой знает, что с ним хотят поговорить. Существенная часть повседневных коммуникаций работает иначе. К примеру, двое людей, живущих вместе, могут заниматься своими делами в разных комнатах или в одной, но будучи отвернутыми друг от друга, и один из них может что-то сказать или попросить, даже если между ними нет зрительного контакта — для глухих такое взаимодействие недоступно, потому что они попросту не будут знать, что к ним обратились.

Потенциально это можно решить при помощи смартфона, который будет постоянно распознавать речь вокруг и вибрировать, если кто-то обратился к человека. Но тогда устройство нужно будет каждый раз доставать из кармана. Можно воспользоваться умными очками, но, к примеру, Google Glass работает в активном режиме с включенным экраном всего два часа.

Разработчики из Google объединили оба типа устройств, чтобы создать универсальный гаджет для удобной расшифровки речи и звуков на протяжении всего дня: умные очки, работающие 15 часов на одном заряде, и смартфон, отвечающий за преобразования речи и звуков в текст. Они создали прототип не на базе Google Glass, но на основе новой разработки своих коллег из Google, показавших в прошлом году прототип проекционной системы, которую можно встраивать в обычные очки.

Для экономии энергии, размера и веса устройства проектор встроен только в одну правую дужку. В ней также расположена плата управления и небольшой аккумулятор, а основной аккумулятор установлен в левой дужке. Масса очков составляет 54 грамма. Для работы очки связываются со смартфоном, который расшифровывает речь и бытовые звуки и в реальном времени передает текст через Bluetooth.

Разработчики провели исследование на добровольцах, сравнив распознавание речи при помощи только смартфона с новым методом. Во всех ситуациях удобство и осведомленность пользователя об окружающих звуках было выше при использовании очков или равным.

Недавно Google адаптировала для глухих другую часто незаметную, но важную функцию. Разработчики создали программу, которая распознает, что глухой собеседник начинает говорить жестами во время видеозвонка, и отображает его в качестве активного собеседника. Особенность реализации заключается в том, что программа совместима почти со всеми сервисами видеозвонков без какой-либо их модификации.

Григорий Копиев