Qualcomm научила процессор использовать камеру без остановки
Компания Qualcomm представила мобильный процессор Snapdragon 8 Gen 1, одной из главных особенностей которого стала возможность постоянно держать камеру устройства включенной. Это позволит реализовать фоновую разблокировку или блокировку смартфона по лицу без каких-либо действий со стороны пользователя, отмечается в пресс-релизе компании.
Уже несколько лет в разных гаджетах — от умных колонок до смартфонов — есть голосовые помощники работающие в фоне. Они слушают звуки вокруг и срабатывают, когда слышат кодовую фразу: «Окей, Google», «Алиса» и так далее, в зависимости от производителя. Поскольку они очень хорошо обучены распознавать только одну фразу, работа в фоне не отнимает много вычислительных ресурсов, а в случае со смартфонами — существенную часть заряда аккумулятора. Но помимо технических аспектов есть и психологический: многие люди относятся с подозрением и испытывают дискомфорт от технологии, которая постоянно слушает все их разговоры.
Есть и устройства, которые постоянно снимают видео или фото, но это стационарные камеры или умные экраны, которые стоят в одном месте и зачастую все же имеют выключатель или механическую шторку для отключения камеры и микрофона. Qualcomm представила процессор, который позволит реализовать непрерывный анализ видео с камеры и на мобильных устройствах, которые люди постоянно носят с собой.
Snapdragon 8 Gen 1 основан на новой архитектуре Armv9 и включает в себя три типа ядер: одно основное Cortex-X2, три мощных Cortex-A710 и четыре энергоэффективных Cortex-A510. В нем, как и в других современных мобильных чипах, есть блоки для аппаратного ускорения тех или иных алгоритмов, из которых выделяются три процессора обработки изображений. Они позволяют держать три камеры включенными и переключаться между ними моментально.
С помощью одного из них смартфон сможет постоянно держать включенной переднюю камеру и обнаруживать лица. Для этого также используется другой энергоэффективный блок, собирающий и обрабатывающий данные с датчиков, в нем происходит обнаружение лица в видеопотоке с камеры. Когда лицо обнаружено, смартфон начинает распознавать его и при необходимости разблокировать экран, используя остальные программные и аппаратные компоненты. Компания отмечает, что при фоновой работе кадры не будут покидать изолированную область чипа, к которой у приложений нет доступа.
Есть и другие подходы к решению проблемы разблокировки по лицу. Например, Google встроила в Pixel 4 радар, который заранее обнаруживает приближение человека к смартфону и запускает процесс распознавания лица.
В 2019 году мы рассказывали о том, как реализовано фоновое распознавание голоса в гаджетах и как инженеры-энтузиасты ищут способы сохранить эту функцию, увеличив приватность пользователей.
Григорий Копиев
Также алгоритм может быть полезен при стихийных бедствиях
Ученые разработали датчик, способный распознавать диарею по звукам дефекации, и представили его на 183-м заседании Акустического общества Америки. Предполагается, что устройство поможет предсказывать вспышки инфекционных заболеваний. Диарея может иметь вполне безобидное происхождение: например, быть побочным эффектом лекарства или реакцией организма на что-то несвежее. Однако нередко диарея сопровождает инфекционные заболевания, многие из которых до сих пор представляют серьезную опасность — например, холеру, уносящую около 150000 жизней в год. С этой точки зрения мониторинг звуков диареи может быть полезен для того, чтобы предсказать вспышку инфекции и остановить ее стремительное распространение. Группа ученых из Технологического института Джорджии под руководством инженера-исследователя Майи Гатлин (Maia Gatlin) разработала прототип устройства для мониторинга диареи. Датчик использует микрофон и алгоритм машинного обучения, работающий на встроенном микропроцессоре и умеющий анализировать звуки, которые издают посетители туалетов. Авторы изделия рассказывают о работе алгоритма в общих чертах, не сообщая об архитектуре нейросети, размере и составе датасета для обучения. Известно, что первоначально исследователи обучили алгоритм на звуках, которые удалось собрать из онлайн-источников. Каждый из этих образцов устройство преобразовывало в спектрограмму. Сперва алгоритм научили распознавать, какие характерные особенности спектрограммы сопровождают те или иные виды выделений. Для обучения использовались различные звуки естественных отправлений человека: как нормальные, вроде мочеиспускания, метеоризма и обычной, здоровой дефекации, так и патологические. Так, для диареи характерны определенные движения кишечника, рыхлые и водянистые, и сопровождаются они определенными звуками. Затем алгоритму дали послушать другие образцы звуков, и он смог распознать тип события с точностью до 98,1 процента. Авторы датчика предполагают, что устройство может быть полезно в различных сферах: например, для отслеживания состояния кишечника у пациентов в хосписах или тех, кто страдает от болезни Крона. Также детектор будет полезен в зонах стихийных бедствий — там, где загрязнение воды приводит к распространению болезнетворных микроорганизмов. Кроме того, не исключено, что в будущем эту технологию можно будет применять в экосистеме умного дома. Исследования того, что происходит в туалете и после него, помогают предсказать вспышки многих инфекционных заболеваний, не только холеры. Подробно о том, какую информацию можно получить, исследуя стоки, N+1 рассказывал в материале «Смытые данные».