Facebook* научил людей понимать сотни слов по вибрации на руке

Инженеры из Facebook рассказали о разрабатываемом компанией интерфейсе, позволяющем пользователям распознавать слова и фразы по вибрации специального устройства на руке. С помощью такого устройства некоторые испытуемые научились распознавать около 500 слов лишь после трех с половиной часов обучения, сообщает MIT Technology Review. Разработка будет представлена на конференции CHI 2018.

Слепые люди читают тексты, напечатанные рельефным шрифтом Брайля, или активные устройства, которые могут менять отображаемые символы. Но у такого способа получения информации есть заметный недостаток — для этого человек должен специально считывать шрифт пальцами и не может воспринимать информацию фоном.

В прошлом году компания Facebook рассказала о разработке устройства, которое также использует физический контакт для вывода информации с помощью вибрации и закрепляется на руке, за счет чего его можно использовать, не отвлекаясь от других дел. Тогда компания вкратце рассказала о разработке и заявила, что с его помощью испытуемые научились распознавать несколько слов. Теперь разработчики опубликовали работу с подробным описанием усовершенствованного прототипа и рассказали, что смогли добиться значительно более высоких результатов.

Устройство представляет собой манжету, надеваемую на предплечье. На ее внутренней части расположены два массива виброактуаторов: по 8 с каждой стороны руки. Устройство может передавать информацию через периодическую вибрацию разных вибромоторов и исследователи разработали необычный способ кодирования информации, позволяющий передавать большое количество слов, а не только несколько базовых сигналов.

Они использовали фонематический подход, при котором каждому уникальному набору вибраций актуаторов сопоставлено не конкретное слово, а фонема. Для того, чтобы вибрации напоминали реальное произношение фонем, исследователи использовали для них разные места на руке. К примеру, если звук создается движением губ, то для отображения фонемы используется вибрация на передней части манжеты. Согласные и гласные в такой системе также отличаются: для отображения согласных используется простое воздействие в одной части руки, а для передачи гласных вибрация «передвигается» по руке.

Исследователи написали специальную программу для обучения людей такому способу восприятия текста. В ней они могут сколько угодно раз нажимать на любые фонемы или целые слова, чтобы выучить их. После этого пользователь проходит несколько тестов. В некоторых ему нужно распознать слова, которые он уже изучал, например, ему могут задать вопрос, ответ на который нужно вписать на компьютере. Также пользователя тестируют и с помощью слов, которые он раньше не «слышал» через интерфейс.

Разработчики отмечают, что достигли значительных успехов по сравнению с ранним прототипом. После ста минут обучения испытуемые смогли выучить сто слов с точностью распознавания на уровне 90 процентов, а некоторые из них после еще ста минут обучения добились результата в 500 слов. Считается, что такого словарного запаса достаточно для общения на базовом уровне.

Стоит отметить, что подобный способ получения информации подходит не всем. Некоторые люди имеют наследственное заболевание, вызывающее аллергическую реакцию на вибрацию. В 2016 году ученые обнаружили генетическую причину этого заболевания.

*Facebook принадлежит компании Meta, деятельность которой в России запрещена.

Григорий Копиев