Японские инженеры создали прототип роботизированной коляски для помощи инвалидам. Движением коляски человек управляет сам, двигая колеса руками, но на ее задней части расположен робот с двумя руками, которым управляет удаленный оператор. Он видит у себя на экране или VR-шлеме не только видео с камеры, но и наложенное пятно, показывающее, куда именно смотрит сидящий на коляске. Это позволяет лучше понимать его потребности и просьбы, и, к примеру, брать манипулятором нужные предметы. Разработка будет представлена на конференции SIGGRAPH 2020, но статья о ней пока не опубликована.
В области роботизированных конечностей идет не только разработка протезов, которые компенсируют утраченные функции, но есть и сравнительно молодое направление, в котором исследователи пытаются расширить изначальные возможности человека новыми электромеханическими устройствами, которые не призваны напрямую заменить собственные конечности человека. Яркий пример — это дополнительные руки. Есть несколько исследовательских групп, которые активно работают в этом направлении и часто создают новые прототипы, и среди них выделяется группа под руководством Ямена Сараджи (Yamen Saraiji) из Университета Кэйо. В 2018 году она предложила новый подход, при котором роборуками управляет удаленный оператор, получающий видео с камер робота. Это позволяет носителю робота сосредоточиться на своих задачах.
В новом проекте инженеры развили эту идею и установили роборуки не на плечи человека, а на инвалидную коляску. Они использовали модифицированную инвалидную коляску с электроусилителем и вынесенным далеко назад небольшим колесом, которое не дает коляске упасть назад под весом роборук. Они установлены в задней части коляски за сиденьем. Манипуляторы состоят из нескольких длинных сегментов с аналогом человеческой кисти на конце и расположены так, что кисти человека и робота находятся примерно на одном уровне.
Помимо манипуляторов сзади установлена голова с двумя камерами, и микрофоном, а также электроника для работы всего устройства, в том числе аккумулятор и модуль беспроводной передачи данных. Голова, в отличие от рук, установлена несимметрично и смещена вбок, поэтому она выглядывает из-за правого плеча человека. Удаленный оператор может видеть через VR-шлем стереоскопическое изображение с камер и слышать пользователя.
Важное отличие новой версии от старой заключается в том, что оператор получил возможность видеть, на что именно смотрит пользователь. Для этого человеку на коляске необходимо надеть окулографический датчик, похожий на очки без линз. В нем есть два инфракрасных сенсора, которые определяют положение глаз и рассчитывают вектор направления взгляда. Кроме того, сверху на датчике установлена камера, которая накладывает центр взгляда пользователя на изображение. Инженеры научились объединять эти данные с данными с камеры оператора и накладывать область взгляда пользователя на то изображение, которое видит перед собой оператор. Это позволяет оператору не только слышать просьбы пользователя, например, открыть ящик, но и уточнять их визуально, понимая, о каком именно ящике идет речь.
В 2018 году другие ученые из Японии провели важное исследование о взаимодействии людей с дополнительными конечностями. Они с помощью нейроинтерфейса подключили к добровольцу дополнительную руку и экспериментально доказали, что человек способен одновременно выполнять действия своими руками и дополнительной рукой, причем это были действия и движения разных типов. Это показывает, что в будущем нейроинтерфейсы могут позволить избавиться от необходимости в управлении через удаленного оператора.
Григорий Копиев