Японская компания Preferred Networks разработала систему управления роботами-помощниками, которая полностью автоматизирует процесс уборки. Система включает в себя распознавание голоса, с помощью которого робот понимает голосовые команды, а также технологии компьютерного зрения, которые помогают устройству анализировать предметы, поднимать их и убирать на место. Об этом сообщается на сайте компании.
Роботы, которые умеют манипулировать предметами, находят применение во многих сферах человеческой жизни: например, на производстве и складах, в работе по дому. При этом одна из главных задач таких роботов — научиться правильно распознавать предметы для дальнейших действий: предмет может быть слишком хрупким, или слишком скользким, или лежать так, что его невозможно поднять. Особенно это актуально для роботов-уборщиков, ведь им нужно не только эффективно распознавать предметы и брать их, но также и класть их на место.
Заняться разработкой такого робота решили японские инженеры из Preferred Networks. Аппаратную часть робота они не делали сами, а выбрали в качестве робота-уборщика Human Support Robot от компании Toyota, который используется для помощи инвалидам, вместо этого разработчики решили сосредоточиться на программном обеспечении. В основе системы компьютерного зрения — сверточная нейросеть, которая обучалась на почти двух миллионах изображений. Благодаря этому система умеет эффективно распознавать предметы, после чего робот может идентифицировать их, понять, как именно нужно поднять конкретный предмет и куда его отнести. К примеру, робот знает, что ручки должны лежать в стакане для канцелярских принадлежностей, а вещи, которые лежат на полу, должны оказаться в корзине для белья.
Кроме того, компьютерное зрение робота также используется для того, чтобы распознавать невербальные команды: система может отследить, куда показывает человек. Также робот умеет распознавать голосовые команды и, к примеру, отнести мусор в ведро по просьбе пользователя.
Чаще всего от таких роботов-помощников требуется манипулировать жесткими и нехрупкими предметами: банками, мягкими игрушками или мусором. Тем не менее, также может понадобиться и использование таких роботов для управления мягкими предметами: специально для этого японские инженеры научили роборуку схватывать предметы на лету, регулируя силу хвата, за счет чего они могут поймать и не раздавить даже маршмеллоу.
Елизавета Ивтушок
Гексакоптер оснащен двумя взлетно-посадочными платформами для квадрокоптеров
Инженеры из Сколтеха разработали гибридный гексакоптер MorphoLander, который выступает в роли передвижного аэродрома для дронов меньшего размера. MorphoLander не только летает, но и может ходить по неровной поверхности при помощи четырех ног. В верхней части корпуса расположены две взлетно-посадочные платформы для микродонов. Дрон может пригодиться для инспекции объектов и поиска пострадавших во время стихийных бедствий, говорится в препринте на arXiv.org. При поддержке Angie — первого российского веб-сервера Дроны отлично подходят для выполнения задач поиска, инспекции и мониторинга, но потребляют много энергии и не могут долго находиться в полете. Одним из способов преодолеть это ограничение стала разработка дронов гибридной конструкции, которые могут не только летать, но и передвигаться по земле, например, с помощью колес или ног. Несмотря на то, что такой подход позволяет продлить время работы за счет менее энергозатратного способа передвижения по поверхности, продолжительность полета гибрида и его эффективность часто снижается из-за дополнительного веса. Инженеры под руководством Дмитрия Тетерюкова (Dzmitry Tsetserukou) из Сколтеха предложили использовать громоздкий дрон в качестве носителя для дронов поменьше. Тогда большой дрон выступает в роли передвижного «улья», который в нужный момент выпускает рой маленьких дронов, способных более эффективно выполнить задачу на большой территории за счет совместной работы. Разработанный прототип под названием MorphoLander представляет собой гексакоптер с четырьмя ногами, каждая из которых имеет три степени свободы. С их помощью дрон может передвигаться по неровной поверхности. Масса гибрида немного больше 10 килограмм. Встроенного аккумулятора хватает на 12 минут полета. Сверху на корпусе закреплены две посадочные платформы диаметром 20 сантиметров, на которые могут садиться микродроны. Чтобы микродронам (инженеры использовали Crazyflie 2.1 массой 27 грамм) было проще садиться на MorphoLander, материнский дрон с помощью алгоритма стабилизации старается удерживать горизонтальное положение платформ, подстраивая высоту ног под неровности поверхности. Посадка микродронов происходит под управлением алгоритма машинного обучения, его обучение с подкреплением проходило в симуляторе на платформе игрового движка Unity, который позволяет имитировать физику, с использованием пакета машинного обучения Unity ML Agents. Обученный алгоритм посадки затем испытали в трех сценариях с участием реальных дронов. В первом два микродрона должны были взлетать с расстояния полутора метров от MorphoLander и затем садиться на его платформы. Среднее значение отклонения от центра платформы в этом сценарии составило всего около 5,5 миллиметра. Во втором сценарии микродроны должны были садиться на материнский дрон, стоящий на неровной поверхности. В этом случае ошибка возросла и составила 25 миллиметров. Третий сценарий имитировал реальное применение: микродроны взлетали с платформ, в то время как MorphoLander отходил от места взлета на некоторое расстояние, после чего микродроны должны были сесть обратно. Среднее значение отклонения от центра 20-сантиметровой платформы составило 35 миллиметров. В будущем инженеры планируют увеличить точность и устойчивость алгоритма управления микродронами за счет контроля тяги отдельных винтов. https://www.youtube.com/watch?v=fV8_Ejy81s8&t=1s Совместная работа помогает роботам справляться с более трудными задачами. К примеру японские инженеры разработали систему из работающих в паре дрона и наземного робота. Они соединены друг с другом тросом, что позволяет наземного дрону взбираться на более крутые подъемы. Для этого дрон закрепляет трос на вершине, после чего наземный робот натягивает его с помощью лебедки и поднимается наверх.