Microsoft создала систему виртуальной реальности для слепых
Инженеры из компании Microsoft разработали систему, позволяющую слепым людям взаимодействовать с объектами виртуальной реальности через трость. Она позволяет не только чувствовать сам факт столкновения с объектами, но и различать объекты и поверхности разных типов через виброотдачу и звук, сообщается в работе, которая будет представлена на конференции CHI 2018 и доступна на сайте Microsoft.
Многие крупные технологические компании разрабатывают и уже выпускают шлемы и очки виртуальной реальности. Почти все подобные устройства опираются на зрительное восприятие. И хотя некоторые инженеры и компании создают устройства, добавляющие тактильные ощущения в виртуальную реальность, например, с помощью электростимуляции мышц или перчаток с гаптической отдачей, они все равно не подходят слепым людям, потому что обычно они получают информацию об окружающей среде ощупывая предметы с помощью трости.
Инженеры под руководством Майка Синклера (Mike Sinclair) из компании Microsoft разработали систему, позволяющую слепым и слабовидящим людям воспринимать виртуальные объекты через трость. Она состоит из закрепляемого на поясе металлического стержня, к которому подвижно присоединен конец короткой трости. Таким образом пользователь может свободно двигать ее вдоль стержня. На трости установлен вибромотор и датчик, который отслеживает положение трости относительно шлема виртуальной реальности. Помимо этого на основании стержня установлен тормоз, который может останавливать его горизонтальное движение.
Пользователь ходит по помещению и двигает вправо-влево короткой тростью, которая в виртуальной реальности имеет гораздо большую длину. Когда трость сталкивается с виртуальным объектом, тормоз останавливает движение стержня, а следовательно и трости, и создает ощущение настоящего столкновения. Помимо этого мотор на трости издает вибрацию, а динамики в шлеме издают звук, соответствующий конкретному объекту. К примеру, звук удара по мусорному баку будет отличаться от звука удара о пол. Также система умеет создавать различный тактильный отклик для разных поверхностей, например, для тактильной плитки на тротуаре или асфальта.
Разработчики опубликовали видео с описанием системы, а также несколькими примерами использования, в том числе с симуляцией перехода дороги:
В 2015 году специалисты из Microsoft создали аудионавигатор для слепых, который позволяет им слышать информацию об окружающих объектах, причем пользователь слышит ее именно с той стороны, с которой находится объект.
Григорий Копиев
Он нажимает на кнопки сенсорных терминалов самообслуживания вместо пользователя
Инженеры разработали прототип устройства, которое помогает слабовидящим пользователям взаимодействовать с сенсорными экранами терминалов и торговых автоматов. Небольшой вращающийся вокруг своей оси робот под названием Toucha11y с камерой и выдвижным стилусом прикрепляется к экрану и распознает интерфейс, после чего передает информацию на смартфон пользователя. В результате пользователь, используя встроенные функции помощи смартфона выбирает нужные команды, а робот нажимает за него на соответствующие элементы интерфейса. Доклад представлен на конференции Conference on Human Factors in Computing Systems 2023. Многие торговые автоматы, терминалы самообслуживания и банкоматы сегодня оснащены сенсорными экранами. При этом они крайне редко оснащены голосовым управлением, что становится серьезным препятствием для слепых и слабовидящих — зачастую они не в состоянии воспользоваться устройствами без посторонней помощи. Инженеры из Мэрилендского университета во главе с Хуай Шу Пэном (Huaishu Peng) предложили способ решения этой проблемы в виде мобильного приложения и работающего с ним в паре небольшого робота под названием Toucha11y, который прикрепляется к экрану терминала. Робот массой 160 грамм оснащен тремя присосками для прикрепления к экрану терминала. Корпус может поворачиваться вокруг своей оси с помощью электромотора, а в верхней части размещена камера, наклоненная на 45 градусов вниз. Одноплатный компьютер Raspberry Pi Zero внутри отвечает за работу механики и за связь с сервером, на котором производятся вычисления. Чтобы начать работу с Toucha11y, пользователь закрепляет его на тачскрине терминала. После чего гаджет с помощью камеры делает три последовательных снимка с разницей 30 градусов. Эти фотографии загружаются на сервер, где происходит распознавание интерфейса с помощью алгоритмов компьютерного зрения и сравнение с предварительно размеченными данными из базы, в которой собрана информация о наиболее часто встречающихся интерфейсах терминалов разных производителей. Исходя из этого определяются координаты робота относительно экрана интерфейса. Далее алгоритм на сервере формирует соответствующее меню и отсылает его на мобильное приложение пользователя, которое может озвучивать информацию, доступную на экране, и принимать команды от пользователя. После выбора пункта меню пользователем робот сам нажимает на соответствующую кнопку на экране с помощью выдвижного стилуса. Он представляет собой токопроводящий указатель, закрепленный на стальной рулетке. Рулетка выдвигается на нужную дистанцию из нижней части робота с помощью электромотора, и когда ее конец с указателем оказывается над нужным элементом интерфейса, он активируется с помощью электрического импульса. Таким образом, робот отвечает за физическое взаимодействие с экраном, в то время как пользователь взаимодействует со своим персональным устройством, которое уже содержит необходимые инструменты для помощи слабовидящим. https://www.youtube.com/watch?v=dqfhE42zB1I Для тестирования концепции и дизайна прототипа разработчики пригласили семь слабовидящих испытуемых. Используя робота, они должны были выполнить задание — заказать через интерфейс терминала самообслуживания определенный напиток с дополнительной опцией в виде заданного уровня сахара. Все участники исследования успешно справились с заданием со средним временем около 90 секунд. Из существующих проблем устройства, авторы доклада отмечают перекрытие нужных пунктов меню основанием робота и привязанность к базе данных. Первая проблема может быть решена простым изменением позиции робота или разработкой основания, которое могло бы взаимодействовать с сенсорным экраном. Вторая решается регулярным обновлением базы данных актуальными интерфейсами, либо использованием установленной на большей высоте дополнительной камеры, захватывающей весь экран. В отличие от установленных в общественных местах терминалов, возможностей для взаимодействия с персональными гаджетами у слепых и слабовидящих пользователей гораздо больше. Например, в 2020 году компания Google представила встроенную экранную клавиатуру TalkBack с брайлевым шрифтом для устройств для операционных систем Android.