Нейромышечная гарнитура услышит немые команды

Ученые разработали нейромышечную гарнитуру AlterEgo, которая может считывать беззвучную речь. Разработка была представлена в рамках конференции Association for Computing Machinery’s ACM Intelligent User Interface, кратко о ней рассказывается в пресс-релизе на сайте Массачусетского технологического института.

Нейроинтерфейсы предназначены для связи и обмена информацией между мозгом и компьютером. Они могут быть использованы для выполнения множества задач: например, набора текста без клавиатуры или управления роботами «силой мысли». Несмотря на то, что работа над устройствами подобного типа началась еще в 70-х годах прошлого века, они все еще далеки от совершенства, однако технологии машинного обучения в последнее время помогают сделать их работу более эффективной.

Разрабатываемая исследователями из MIT система предназначена для считывания беззвучной речи. Она использует наушники с костной проводимостью, четыре электрода и алгоритм искусственного интеллекта. Стоит заметить, что технология относится к классу нейромышечных интерфейсов, то есть устройство регистрирует изменения сигналов нейромышечной активности и не использует ЭЭГ-гарнитуру — даже когда говорим про себя, электрическая активность вовлеченных в речь мышц все равно меняется и устройство регистрирует эти изменения.

При создании AlterEgo исследователи фокусировались семи зонах лица, включая внешнюю и внутреннюю часть гортани, подъязычную кость, ротовую и подбородочную область, а также внешнюю и внутреннюю подглазничную зону. В версии, описанной в статье, использовалось семь электродов, однако в системе, продемонстрированной на конференции, их было уже четыре и все они умещались на одной стороне лица. Для того, чтобы обучить AlterEgo выполнять команды пользователя, разработчики просили трех добровольцев внутренне проговорить команды из разных категорий, включая численные операции («разделить», «прибавить» и так далее), управление умным домом ( «включить свет», «выключить свет», «включить кондиционер», «выключить кондиционер») и другие. За два этапа исследователи записали 36 часов беззвучной речи. 

Затем ученые использовали сверточную нейронную сеть для поиска корреляций между определенными нервно-мышечными сигналами и конкретными словами. В результате она научилась определять, что хотел сказать пользователь, даже если он ничего не произносил вслух. Тестирование с участием 10 волонтеров показало, что после 15-минутной калибровки, AlterEgo способна распознать команды человека с точностью до 92 процентов, что превосходит точность существующих систем. Испытание в каждом случае длилось 90 минут. 

В текущей конфигурации AlterEgo может устанавливать напоминания и задачи на определенную дату, узнавать время, выполнять математические операции, общаться с другими пользователями (но только при помощи 5 фраз), играть в шахматы и го, управлять домашними устройствами. Если от системы требуется обратная связь, то устройство воспроизводит звук с помощью костной проводимости. 

Со временем, отмечают разработчики, точность системы должна возрасти благодаря увеличению набора данных. На данный момент исследователи работают над тем, чтобы сделать словарь AlterEgo более обширным.

Над созданием неинвазивного интерфейса также работает компания Facebook. Он не только позволит пользователям набирать текст без клавиатуры, но и «слышать» с помощью кожи.

Кристина Уласович