Инженеры из США и Китая представили робота, который самостоятельно учится физическим действиям людей по видеороликам и способен занимать место одного из людей в некоторых сценариях социального взаимодействия. Доклад о проделанной работе будет представлен на конференции ICRA 2017 в Сингапуре.
Взаимодействия человека и робота это один из актуальных вопросов в современной робототехнике. Для того, чтобы сделать роботов более удобными и комфортными для людей, используются разные приемы, как декоративные (добавление дисплея с глазами), так и функциональные. В данном случае разработчики решили научить робота взаимодействовать с человеком в разных сценариях на физическом уровне, а в качестве обучения использовали демонстрацию взаимодействия людей.
Для обучения использовался робот Baxter производства Rethink Robotics, алгоритм которого обучали на примере RGB-D видеороликов (дополнительно с видеорядом использовались данные о глубине сцены), которые демонстрировали разные сценарии взаимодействия людей. В частности, на роликах люди приветствовали друг друга (пожимали руки, махали рукой или давали пять), помогали друг другу встать и передавали предмет. По видеозаписям робот оценил движения людей в разных сценариях.
Затем авторы заменили одного из людей в подобных ситуациях на самого робота, дополнительно оснащенного датчиком глубины Kinect, благодаря которому Baxter мог оценивать движения человека и делать соответствующий вывод о том, как именно нужно ответить. При этом установленные в манипуляторах датчики давления позволяли роботу действовать аккуратно при физическом контакте, поэтому Baxter мог аккуратно передать чашку или дать пять.
Движения Baxter сначала проверили на симуляторе, а затем пригласили 12 добровольцев для взаимодействия с роботом напрямую. Испытуемые оценили действия робота как более успешные, а движения как более естественные по сравнению с действиями робота, запрограммированного на движения вручную.
Ранее похожую работу представили ученые из Висконсинского университета в Мадисоне. Исследователи научили роботизированный манипулятор передавать чистую посуду человеку — робот на примере людей научился угадывать по поведению партнера подходящую стратегию подачи посуды с точностью до 90 процентов.
Робот Baxter обладает классической для многоцелевого промышленного робота компоновкой из двух манипуляторов и предусмотрен набор датчиков для отслеживания изменений в окружающей среде. Робот управляется операционной системой для роботов (ROS) с открытым исходным кодом, благодаря чему для исследовательских проектов с машинным обучением часто выбирают именно Baxter. Например, ранее его уже научили держать пистолет, распознавать предметы на ощупь и гладить одежду. Также он использовался для демонстрации работы мозгового интерфейса, который позволяет управлять роботом, предотвращая совершаемые им ошибки в реальном времени.