Шлем дополненной реальности показал будущие движения робота
Японские инженеры разработали систему, позволяющую человеку в AR-шлеме видеть будущие перемещения робота, чтобы лучше понимать его намерения и рассчитывать свой путь по помещению. Статья опубликована в журнале Advanced Robotics.
Взаимодействие людей и роботов (HRI) — важная часть робототехники, необходимая для успешного внедрения бытовых роботов, напрямую взаимодействующих с людьми. Некоторые исследования в это области направлены на разработку технологий, например, подушки безопасности на роботах, защищающие людей от столкновения, но большая часть направлена на то, чтобы взаимодействие с роботами было психологически комфортным и понятным. Поскольку робот ведет себя не так, как люди, человек может испытывать трудности с предсказанием и пониманием смысла его действий, поэтому желательно, чтобы у человека была возможность узнать об этом заранее. В основном исследователи подходят к этой проблеме самым очевидным способом: робот должен уметь объяснять простым языком или наглядно демонстрировать планируемые действия.
Исследователи из Университета Кюсю под руководством Рю Курадзуме (Ryo Kurazume) предложили новый способ отображения намерений робота — в виде проекции его будущих положений в очках дополненной реальности. Для этого они воспользовались своей ранней разработкой, которая представляет собой помещение для отработки технологий взаимодействия роботов с людьми и устройствами.
Главная особенность помещения заключается в том, что оно оснащено множеством визуальных датчиков: 18 высокоскоростных инфракрасных камер Vicon, отслеживающих положение небольших инфракрасных маркеров, девять камер глубины Kinect и несколько двумерных лидаров. Все это позволяет очень точно отслеживать положение и движения всех объектов в помещении. Также в помещении есть система управления, которая имеет оцифрованную копию помещения, собирает данные с датчиков и команды от пользователя, а также отвечает за планирование маршрута робота.
В изначальной статье по этой системе авторы использовали шлем виртуальной реальности, рассчитывали все данные на сервере и вместо реального мира показывали в шлеме упрощенную виртуальную копию с роботом, предметами и прочим. В новой версии они использовали шлем дополненной реальности Microsoft Hololens, благодаря чему пользователь видит перед собой не воссозданный интерьер комнаты среднего качества, а реальный мир с отдельными полупрозрачными виртуальными элементами.
В новой версии положение и направление взгляда пользователя отслеживается локально на шлеме при помощи камер и стандартного для этой задачи метода SLAM. Изначально человек в шлеме должен подойти к калибровочной табличке на стене, позволяющей шлему узнать свое местоположение, а после этого никаких дополнительных действий не нужно.
При необходимости шлем также может загружать нужную в текущий момент модель объекта в комнате, поскольку все ее содержимое оцифровано. К примеру, благодаря этому человек может видеть содержимое холодильника через его дверцу, не открывая ее. То же самое касается и домашнего робота-помощника: он тоже оцифрован, а его план движения рассчитывается на сервере помещения, поэтому когда робот двигается, шлем может загружать 3D-модель робота и его маршрут, чтобы накладывать его на реальный мир. В реализации авторов помимо реального робота человек видит перед собой его копию, расположенную в другом месте — промежуточной точке, в которую он скоро должен прийти. Помимо самого местоположения показывается и положение частей робота, к примеру, поднятая или протянутая рука.
Дополненную реальность не первый раз предлагают использовать для упрощения совместной работы людей и роботов. Например, в 2018 году американские инженеры создали прототип проекционной системы, которая подсказывает человеку необходимую последовательность действий, а затем показывает, что нужно отойти и дать роботу сделать его часть работы.
Григорий Копиев
В других опытах использовался морской моллюск хитон
Японские инженеры использовали мокрицу и морского моллюска хитона в качестве захвата для роборук. В экспериментах оба беспозвоночных успешно захватывали, удерживали и вращали предметы в воздушной и водной среде соответственно. Исследователи надеются, что в будущем этих и других животных можно будет использовать для создания биогибридных устройств. Впрочем, некоторые их коллеги настроены скептично. Препринт исследования выложен на сайте arXiv. Ученые давно вдохновляются анатомией животных при создании разнообразных роботов. А в последнее время разрабатывается все больше биогибридных устройств, в которых живые организмы или части их тел совмещены с механическими деталями. Например, в прошлом году американские инженеры превратили мертвого паука-волка в пневматический захват. Авторы другого проекта использовали усики и мозг живой саранчи, чтобы создать детектор злокачественных клеток (подробнее об этом читайте в нашем материале «Запах опухоли»). Команда инженеров, которую возглавил Кэндзиро Тадакума (Kenjiro Tadakuma) из Университета Тохоку, предложила использовать живых существ в качестве концевых эффекторов (захватов) роботов. Согласно задумке исследователей, животное можно прикрепить на конец стандартной конечности робота и захватывать с его помощью различные предметы. В первую очередь на эту роль подойдут существа с экзоскелетом, для которых характерны рефлекторные движения. Чтобы оценить потенциал этой идеи в воздушной и водной средах, Тадакума и его соавторы провели серию экспериментов со сворачивающейся в шар мокрицей из семейства Armadillidiidae и морским моллюском из класса хитонов (Polyplacophora), представители которого используют нижнюю часть мантии и ногу в качестве мощной присоски для крепления к камням и скалам. По одной особи каждого вида поймали в кампусе Университета Тохоку и в Японском море соответственно. Механические детали роборук напечатали на 3D-принтере. Для присоединения мокрицы к роботизированной конечности исследователи разработали крепления с одним или двумя гибкими жгутами. Крепление первого типа позволяло ракообразному свернуться в шар, а крепление второго типа фиксировало его в развернутом состоянии. При этом хитона прикрепили к роборуке с помощью нанесенного на панцирь эпоксидного клея. Эксперименты с мокрицей проводились в воздушной среде. В ходе испытаний исследователи подносили кусочек ваты к роборуке с прикрепленным к ее концу ракообразным. После прикосновения к этому объекту мокрица рефлекторно сворачивалась и захватывала его. А примерно через 115 секунд она снова разворачивалась и отпускала ватку. В других тестах к кусочку ваты подносили мокрицу, которая не могла свернуться, поскольку была прикреплена к роборуке парой креплений. Вместо этого она перебирала конечностями, перемещая ватку. https://youtu.be/yo_mXCJRFZs Испытания хитона в качестве концевого эффектора проводились в аквариуме. Моллюска, прикрепленного к роборуке, подносили к предметам, сделанным из пробки, дерева и пластика. Во всех случаях хитон прочно прикреплялся нижней частью тела к поверхности этих объектов. Для сравнения, обычные вакуумные присоски не могут удерживать предметы из пробки и дерева. Кроме того, авторы сняли на видео, как неподвижно закрепленный хитон пытается ползти вдоль деревянного и пластикового цилиндра и в результате вращал его. https://youtu.be/fL4DzqKwUYw Ни одно из животных во время испытаний не пострадало. После окончания опытов мокрицу выпустили в дикую природу, а хитон остался жить в аквариуме. Результаты экспериментов подтверждают, что живых существ можно использовать в качестве рабочих инструментов роботов. Однако исследователи признают, что пока у них нет возможности контролировать время, в течение которого подопытные животные удерживают предметы. Если мокрицы через несколько минут сами отпускают кусочек ваты, то хитоны могут оставаться прикрепленными к предметам намного дольше. Авторы предполагают, что, поскольку эти моллюски избегают солнечного света, их можно вынудить ослабить хватку или начать перемещать объект с помощью оптических стимулов. Тадакума с соавторами предполагают, что концевыми эффекторами могут быть не только мокрицы и хитоны, но и другие организмы, начиная с бактерий и инфузорий. Например, морские звезды, осьминоги и лягушки могли бы захватывать предметы с помощью присосок, а грифовые черепахи (Macrochelys temminckii) — перекусывать их своими челюстями. Пауков и гусениц шелкопрядов авторы предлагают использовать для трехмерной печати шелком. Впрочем, некоторые коллеги скептически отнеслись к идеям авторов. По их мнению, использование живых существ в качестве эффекторов не приносит никакой дополнительной выгоды и при этом вызывает множество этических вопросов. Ранее мы рассказывали о том, как инженеры из США использовали чучела птиц для создания орнитоптеров. Один из прототипов с искусственным корпусом покрыт настоящими перьями фазана, а в передней части корпуса закреплена голова чучела кеклика. Второй беспилотник создан на базе крыльев голубя. Оба таксидермических махолета успешно выполнили тестовые полеты. В будущем подобные орнитоптеры могут использоваться для наблюдения за дикой природой или для разведывательных миссий.