Смартфон распознает детские пальцы с первого свайпа
Ученые из Университета Южной Каролины и Чжэцзянского университета разработали алгоритм iCare, который может распознать, кто пользуется смартфоном — взрослый человек или ребенок – и при необходимости блокирует экран телефона. Как сообщается в MIT Technology review, программа учитывает различия в геометрии ладоней и сноровке, с которой смартфонами пользуются дети и взрослые, а точность распознавания с первого свайпа составляет 84 процента. Авторы расскажут о результатах работы на конференции HoMobile, которая 12-13 февраля пройдет в Темпе, Аризона.
Зачастую смартфонами родителей пользуются маленькие дети, поэтому взрослым нужно одновременно и обеспечить безопасность своих отпрысков в интернете, и не позволить им случайно (или намеренно) истратить деньги на счету. Сейчас существует уже немало приложений для родительского контроля, но взрослый может просто забыть активировать приложение перед тем, как отдать смартфон ребенку, а технически подкованный отпрыск может найти способ отключения ограничений.
В новом исследовании китайские и американские инженеры предложили новый подход, позволяющий автоматически распознать, что устройством пользуется ребенок, как только он берет его в руки. Они обратили внимание на то, что у детей и взрослых разная геометрия ладони. У детей меньше площадь поверхности пальцев, соответственно, они касаются меньшей площади поверхности экрана. Кроме того, пальцы у них короче, чем у взрослых, так что «детские» свайпы будут меньше. Другое различие заключается в сноровке: маленькие дети нажимают на экран медленнее, чем взрослые и хуже переключаются с тапов на свайпы.
Авторы нашли 35 мелких различий в геометрии ладоней и сноровке, которые позволяли описать характерные для детей особенности пользования смартфонами. Затем они создали три алгоритма машинного обучения для классификации этих характеристик. Для обучения алгоритмов они собрали данные по пользованию смартфонами 17 детей 3-11 лет и 14 взрослых 22-60 лет.
Два алгоритма из трех (метод опорных векторов и random forest) научились отличать взрослых пользователей смартфонов от детей с точностью 84 процента после первого же свайпа. После восьми свайпов точность распознавания вырастала до 97 процентов.
В дальнейшем исследователи планируют дополнить алгоритм и другими характеристиками, такими как движения пользователя. Например, они заметили, что у детей при пользовании смартофоном больше дрожат руки, чем у взрослых.
Ранее исследователи представили систему DeepService, способную распознавать хозяина устройства по манере пользования клавиатурой.
Екатерина Русакова
Он нажимает на кнопки сенсорных терминалов самообслуживания вместо пользователя
Инженеры разработали прототип устройства, которое помогает слабовидящим пользователям взаимодействовать с сенсорными экранами терминалов и торговых автоматов. Небольшой вращающийся вокруг своей оси робот под названием Toucha11y с камерой и выдвижным стилусом прикрепляется к экрану и распознает интерфейс, после чего передает информацию на смартфон пользователя. В результате пользователь, используя встроенные функции помощи смартфона выбирает нужные команды, а робот нажимает за него на соответствующие элементы интерфейса. Доклад представлен на конференции Conference on Human Factors in Computing Systems 2023. Многие торговые автоматы, терминалы самообслуживания и банкоматы сегодня оснащены сенсорными экранами. При этом они крайне редко оснащены голосовым управлением, что становится серьезным препятствием для слепых и слабовидящих — зачастую они не в состоянии воспользоваться устройствами без посторонней помощи. Инженеры из Мэрилендского университета во главе с Хуай Шу Пэном (Huaishu Peng) предложили способ решения этой проблемы в виде мобильного приложения и работающего с ним в паре небольшого робота под названием Toucha11y, который прикрепляется к экрану терминала. Робот массой 160 грамм оснащен тремя присосками для прикрепления к экрану терминала. Корпус может поворачиваться вокруг своей оси с помощью электромотора, а в верхней части размещена камера, наклоненная на 45 градусов вниз. Одноплатный компьютер Raspberry Pi Zero внутри отвечает за работу механики и за связь с сервером, на котором производятся вычисления. Чтобы начать работу с Toucha11y, пользователь закрепляет его на тачскрине терминала. После чего гаджет с помощью камеры делает три последовательных снимка с разницей 30 градусов. Эти фотографии загружаются на сервер, где происходит распознавание интерфейса с помощью алгоритмов компьютерного зрения и сравнение с предварительно размеченными данными из базы, в которой собрана информация о наиболее часто встречающихся интерфейсах терминалов разных производителей. Исходя из этого определяются координаты робота относительно экрана интерфейса. Далее алгоритм на сервере формирует соответствующее меню и отсылает его на мобильное приложение пользователя, которое может озвучивать информацию, доступную на экране, и принимать команды от пользователя. После выбора пункта меню пользователем робот сам нажимает на соответствующую кнопку на экране с помощью выдвижного стилуса. Он представляет собой токопроводящий указатель, закрепленный на стальной рулетке. Рулетка выдвигается на нужную дистанцию из нижней части робота с помощью электромотора, и когда ее конец с указателем оказывается над нужным элементом интерфейса, он активируется с помощью электрического импульса. Таким образом, робот отвечает за физическое взаимодействие с экраном, в то время как пользователь взаимодействует со своим персональным устройством, которое уже содержит необходимые инструменты для помощи слабовидящим. https://www.youtube.com/watch?v=dqfhE42zB1I Для тестирования концепции и дизайна прототипа разработчики пригласили семь слабовидящих испытуемых. Используя робота, они должны были выполнить задание — заказать через интерфейс терминала самообслуживания определенный напиток с дополнительной опцией в виде заданного уровня сахара. Все участники исследования успешно справились с заданием со средним временем около 90 секунд. Из существующих проблем устройства, авторы доклада отмечают перекрытие нужных пунктов меню основанием робота и привязанность к базе данных. Первая проблема может быть решена простым изменением позиции робота или разработкой основания, которое могло бы взаимодействовать с сенсорным экраном. Вторая решается регулярным обновлением базы данных актуальными интерфейсами, либо использованием установленной на большей высоте дополнительной камеры, захватывающей весь экран. В отличие от установленных в общественных местах терминалов, возможностей для взаимодействия с персональными гаджетами у слепых и слабовидящих пользователей гораздо больше. Например, в 2020 году компания Google представила встроенную экранную клавиатуру TalkBack с брайлевым шрифтом для устройств для операционных систем Android.