Робота научили резать огурцы и помидоры
Американские инженеры создали робота, способного резать овощи на ломтики. Особенность подхода, выбранного разработчиками, заключается в том, что изначально робот учился другой задаче, которая помогла выучить основной навык — сначала робот был обучен предсказывать толщину ломтиков, а уже после этого научился качественно резать их, рассказывают авторы статьи, опубликованной на arXiv.org.
Манипуляция с объектами — одна из основных задач в робототехнике. Для выполнения даже простых действий с предметами робот должен обладать множеством навыков: уметь распознавать объекты, рассчитывать оптимальное место захвата или другого действия, планировать траекторию перемещения манипулятора и предсказывать свойства объектов. Последний навык крайне важен при взаимодействии с мягкими объектами, форма и другие свойства которых могут меняться прямо во время взаимодействия. Одна из модельных задач, позволяющих отработать нужные для взаимодействия с различными объектами навыки — нарезка овощей. Во время этого казалось бы простого действия робот вынужден работать с предметами, которые деформируются при взаимодействии с ножом, что, к примеру, приводит к изменению траектории нарезки и конечной формы ломтика.
Оливер Крёмер (Oliver Kroemer) и его коллеги из Университета Карнеги — Меллон выбрали необычный подход для решения этой проблемы. Сначала они обучили алгоритм выполнению промежуточной задаче — предсказанию толщины ломтика и оставшегося овоща по одной двумерной фотографии. Для этого они создали датасет, состоящий из пар изображений, сделанных до и после разрезания. Во время создания датасета инженеры создавали случайный план нарезки (несколько ломтиков заданной толщины), а затем нарезали овощ и делали его снимки. Таким образом авторы работы набрали 50 демонстраций (по несколько отрезов) для огурцов и 25 для помидоров. Кроме того, инженеры обучили нейросеть обнаруживать овощи с помощью датасета из примерно четырех тысяч огурцов и помидоров.
Во время обучения нейросети для предсказания толщины ломтика инженеры научили ее переводить исходные данные в виде снимка в векторное представление. Авторы работы отмечают, что это позволило получить обученную часть нейросети, способную связывать снимки овощей с их свойствами. После обучения промежуточного алгоритма разработчики приступили к обучению основного. Его задача заключается в том, чтобы составить траекторию движения манипулятора с ножом. Для этого инженеры воспользовались методом имитационного обучения, при котором авторы руками управляли движением манипулятора во время отрезания ломтиков, а алгоритм впоследствии пытался воссоздать аналогичные движения как можно более точно.
Инженеры провели эксперименты на роботе с камерой и двумя манипуляторами. Один из них отвечает за фиксацию овоща на доске, а второй держит нож и отрезает ломтики. Во время нарезания манипулятор двигает нож к овощу и останавливается во время контакта. После этого он поднимает нож, передвигает на рассчитанное заранее расстояние, обеспечивающее нужную толщину ломтика, и приступает к отрезу, во время которого он имитирует движения людей во время аналогичного действия.
Ранее другая группа американских инженеров научила робота с манипулятором взаимодействию с овощами и фруктами для того, чтобы кормить людей с вилки. Разработчики обучили робота по-разному обращаться с разными типами еды. К примеру, поскольку кусок банана может соскользнуть с вилки, манипулятор накалывает его не вертикально, а под углом.
Григорий Копиев
И реагировать на них движениями
Американские инженеры связали на автоматическом станке свитеры для роботов, которые помогают ощущать прикосновения с помощью вшитых датчиков нажима. Свитеры пригодятся, чтобы управлять движениями роботов на производстве. Работа доступна на arXiv.org. Для работы на производстве с людьми, роботам нужно быть очень осторожными, чтобы случайно не травмировать человека. Есть разные способы сделать роботов безопасными, например прикреплять к ним мягкие подушки. Другая идея — научить роботов быстро определять контакт и отодвигаться от человека. В отличие от людей, у роботов нет кожи, но для них можно сделать другую систему для распознавания ощущений из жестких или эластичных материалов, или даже одежду из текстиля, если встроить в нее датчики прикосновений. Одежду можно быстро изготавливать на ткацком станке в промышленных масштабах, и надевать на роботов разных форм и размеров. Группа инженеров из Университета Карнеги под руководством Джеймса МакКанна (James McCann) и Ян Вэньчжэня (Yuan Wenzhen) создала свитеры для роботов, которые могут надежно определять прикосновения. По словам авторов, обычно у текстильных сенсоров есть проблема: они быстро деформируются и перестают надежно работать. Исследователи попробовали с этим справиться, связав свитеры из трех слоев пряжи. Верхний и нижний слой сделаны из обычного нейлона, на котором чередуются широкие и узкие полосы. Широкие полосы сотканы из полиэстеровой металлизированной пряжи, которая хорошо проводит электричество, а узкие полосы изолятора сделаны из акрила. Средний слой — это сетка из района (искусственного шелка). Чем она тоньше, тем выше чувствительность свитера к легким прикосновениям, и наоборот — плотный средний слой подходит для сильных нажатий. Слои ткани с помощью пуговиц с проводами соединяются с устройством для считывания сопротивления, и вместе с ним превращаются в электронную схему. Когда кто-то дотрагивается до свитера, верхний и нижний слои ткани соприкасаются через отверстия в районовой сетке, и сопротивление в системе уменьшается. По сопротивлению можно определить силу нажатия. Инженеры протестировали, насколько надежно устройство определяет силу и место контакта со свитером. Первая серия экспериментов проверяла, как эффективность сенсоров меняется со временем. Эксперименты включали 42 секунды контакта с сенсорами по 20-30 раз на протяжении 4 дней. Авторы не приводят точные цифры результатов, но утверждают что сенсоры показывали стабильные результаты по определению места контакта все 4 дня, с небольшими погрешностями в конце эксперимента. Также исследователи протестировали точность сенсоров на плоской и изогнутой поверхности. На плоской поверхности по сопротивлению датчиков можно было точно определить силу нажатия. На изогнутой поверхности корреляция между сопротивлением и силой нажатия сохранилась, но выросло ее стандартное отклонение. Таким образом, сложность поверхности негативно повлияла на точность определения нажатия. Наконец, инженеры проверили эффективность чувствительных свитеров на роботах. Они надели свитер на робота Kuri, который должен был повернуть голову в ответ на прикосновение. В будущем технологию RobotSweater можно использовать, чтобы обучать роботов: например, похлопать по плечу в качестве похвалы. Пока инженеры показали, как свитеры могут пригодиться на производстве: например, промышленный робот в свитере останавливается и меняет направление движения в ответ на прикосновения. https://www.youtube.com/watch?v=YGUV1dHuCRc Прикосновения может определять не только одежда для роботов, но и искусственная кожа, которую разработала группа ученых из Стэнфордского университета. Пока кожу испытали на крысах, но авторы планируют в будущем встроить ее в человеческие протезы, чтобы улучшить их чувствительность.