Нейросеть научили искать видео при помощи эмодзи

Инженеры разработали прототип устройства, которое помогает слабовидящим пользователям взаимодействовать с сенсорными экранами терминалов и торговых автоматов. Небольшой вращающийся вокруг своей оси робот под названием Toucha11y с камерой и выдвижным стилусом прикрепляется к экрану и распознает интерфейс, после чего передает информацию на смартфон пользователя. В результате пользователь, используя встроенные функции помощи смартфона выбирает нужные команды, а робот нажимает за него на соответствующие элементы интерфейса. Доклад представлен на конференции Conference on Human Factors in Computing Systems 2023. Многие торговые автоматы, терминалы самообслуживания и банкоматы сегодня оснащены сенсорными экранами. При этом они крайне редко оснащены голосовым управлением, что становится серьезным препятствием для слепых и слабовидящих — зачастую они не в состоянии воспользоваться устройствами без посторонней помощи. Инженеры из Мэрилендского университета во главе с Хуай Шу Пэном (Huaishu Peng) предложили способ решения этой проблемы в виде мобильного приложения и работающего с ним в паре небольшого робота под названием Toucha11y, который прикрепляется к экрану терминала. Робот массой 160 грамм оснащен тремя присосками для прикрепления к экрану терминала. Корпус может поворачиваться вокруг своей оси с помощью электромотора, а в верхней части размещена камера, наклоненная на 45 градусов вниз. Одноплатный компьютер Raspberry Pi Zero внутри отвечает за работу механики и за связь с сервером, на котором производятся вычисления. Чтобы начать работу с Toucha11y, пользователь закрепляет его на тачскрине терминала. После чего гаджет с помощью камеры делает три последовательных снимка с разницей 30 градусов. Эти фотографии загружаются на сервер, где происходит распознавание интерфейса с помощью алгоритмов компьютерного зрения и сравнение с предварительно размеченными данными из базы, в которой собрана информация о наиболее часто встречающихся интерфейсах терминалов разных производителей. Исходя из этого определяются координаты робота относительно экрана интерфейса. Далее алгоритм на сервере формирует соответствующее меню и отсылает его на мобильное приложение пользователя, которое может озвучивать информацию, доступную на экране, и принимать команды от пользователя. После выбора пункта меню пользователем робот сам нажимает на соответствующую кнопку на экране с помощью выдвижного стилуса. Он представляет собой токопроводящий указатель, закрепленный на стальной рулетке. Рулетка выдвигается на нужную дистанцию из нижней части робота с помощью электромотора, и когда ее конец с указателем оказывается над нужным элементом интерфейса, он активируется с помощью электрического импульса. Таким образом, робот отвечает за физическое взаимодействие с экраном, в то время как пользователь взаимодействует со своим персональным устройством, которое уже содержит необходимые инструменты для помощи слабовидящим. https://www.youtube.com/watch?v=dqfhE42zB1I Для тестирования концепции и дизайна прототипа разработчики пригласили семь слабовидящих испытуемых. Используя робота, они должны были выполнить задание — заказать через интерфейс терминала самообслуживания определенный напиток с дополнительной опцией в виде заданного уровня сахара. Все участники исследования успешно справились с заданием со средним временем около 90 секунд. Из существующих проблем устройства, авторы доклада отмечают перекрытие нужных пунктов меню основанием робота и привязанность к базе данных. Первая проблема может быть решена простым изменением позиции робота или разработкой основания, которое могло бы взаимодействовать с сенсорным экраном. Вторая решается регулярным обновлением базы данных актуальными интерфейсами, либо использованием установленной на большей высоте дополнительной камеры, захватывающей весь экран. В отличие от установленных в общественных местах терминалов, возможностей для взаимодействия с персональными гаджетами у слепых и слабовидящих пользователей гораздо больше. Например, в 2020 году компания Google представила встроенную экранную клавиатуру TalkBack с брайлевым шрифтом для устройств для операционных систем Android.