Глубокое обучение поможет роботам определить позу человека
Исследователи из Технологического университета Тоёхаси в Японии разработали новый метод автоматического определения позы человека. Они научили нейросеть генерировать объемные модели тела и размечать на них его части. Созданная ими открытая база данных с 10 тысячами объемных изображений поможет роботам лучше выявлять опасные для здоровья человека ситуации. Статья опубликована в журнале Pattern Recognition и доступна на сайте издательства Elsevier.
Важная черта робота-помощника, работающего с людьми с ограниченными возможностями и пациентами медицинских учреждений, — умение различать позы тела человека. Этот навык полезен при определении опасных для жизни ситуаций: например, падения в результате обморока или припадка. Системы для автоматического определения положения тела человека уже разрабатывались, однако они, в основном, умеют определять позу человека только в положении стоя или сидя, когда все части тела могут быть распознаны. Другое ограничение уже существующих методик заключается в том, что они могут распознать только цветные изображения человека, что может вызвать трудности при определении позы в плохо освещенном месте.
Авторы новой технологии создали базу данных, которая содержит объемные изображения человека с размеченными частями тела. Сгенерировав модель человеческого тела, исследователи добавили к ней информацию о скелете для определения изгибов в различных позах и цветную разметку частей тела (всего десять частей тела, включая голову, торс и части конечностей). С помощью технологии захвата движений к модели затем добавили информацию о различных движениях и положениях тела реальных людей. Результатом этого процесса является объемное изображение человека в различных позах и с размеченными цветом частями тела.
База данных затем была использована для обучения полносверточной нейросети (fully convolutional network, коротко FCN), работающей с применением глубокого обучения. Применение этой нейросети для распознавания частей тела реальных людей дает хорошие результаты: так, например, голова была правильно распознана в 69 процентах случаев, а голень левой ноги – в 86 процентах случаев.
Исследователи планируют улучшить свою технологию и заняться разработкой робота-помощника, способного выявлять опасные для жизни ситуации, основываясь на определении позы, и оказывать нужную помощь. О роботе-помощнике для инвалидов, представленном компанией Toyota, вы можете прочитать в нашей заметке.
Он надежно обхватывает хрупкие предметы, не повреждая их
Инженеры из Японии и Вьетнама разработали мягкий манипулятор ROSE, способный бережно захватывать хрупкие предметы, не повреждая их. Он состоит из мягкой воронкообразной оболочки, напоминающей цветок розы, которая способна скручиваться, равномерно обхватывая предмет, оказавшийся внутри. Благодаря своей универсальности и прочности манипулятор может пригодиться в сельском хозяйстве для сбора урожая. Доклад с описанием конструкции был представлен на конференции Robotics: Science and Systems, 2023. При поддержке Angie — первого российского веб-сервера Чтобы робот мог безопасно взаимодействовать с хрупкими объектами, его обычно оснащают манипуляторами, в конструкции которых присутствуют мягкие материалы. Нередко их устройство в той или иной степени имитирует анатомию человеческой руки. Например, пальцы трехпалого захвата EndoFlex с внутренней стороны покрыты мягким силиконом. Однако для управления манипуляторами такого типа обычно требуются несколько актуаторов и сложные алгоритмы позиционирования, которые позволяют подстраивать пространственное положение пальцев и руки в соответствии формой и положением захватываемого предмета. Кроме это, сила прикладывается к объекту неравномерно и только в точках соприкосновения с пальцами, поэтому ее может оказаться недостаточно для удержания. Манипулятор, разработанный инженерами под руководством Ван Ан Хо (Van Anh Ho) из Японского национального института передовых промышленных наук и технологи, имеет более простую конструкцию и для полноценной работы достаточно только одного актуатора. Принцип его работы напоминает раскрытие цветка розы, поэтому разработчики дали ему название ROSE. Рабочая часть манипулятора представляет собой прочную оболочку из силиконовой резины (первые повреждения на изогнутом краю появились только после 400 тысяч циклов срабатывания), которая образует двустенный стакан. Внешняя часть оболочки прикреплена нижней частью к круглому пластиковому основанию с отверстием в центре, а внутренняя воронкообразная поверхность к вращающемуся цилиндру, вставленному в центральное отверстие основания. При вращении внутренней оболочки относительно внешней происходит сжатие манипулятора. Если при этом во внутренней полости оказывается предмет, то он равномерно обхватывается с боков. Усилие и площадь обхвата можно регулировать с помощью угла закручивания оболочек относительно друг друга, а также нагнетанием давления воздуха в пространство между стенками стакана. Для изучения характеристик манипулятора его присоединили к роборуке UR5. Испытания показали, что захват может выдержать максимальную нагрузку около 328 Ньютон при собственной массе захвата 49 грамм, что дает значение соотношения грузоподъемности к весу примерно 6800 процентов от массы захвата вместе с ротором. Манипулятор может бережно и безопасно обхватывать хрупкие предметы различной формы и размеров не нанося им повреждений. В экспериментах использовались стальные шары, фрукты, клейкая лента, банка с кофе и куриное яйцо, которое захват легко вытащил из миски с оливковым маслом, что довольно трудно осуществить, так как из-за масла яйцо становится скользким. Кроме этого, ROSE может захватывать и сыпучие материалы, например, гравий и гальку. https://www.youtube.com/watch?v=E1wAI09LaoY Инженеры придумали способ, с помощью которого манипулятору можно добавить способность «чувствовать» захватываемый предмет. Для этого они разместили множество небольших меток с внутренней стороны оболочки. Их положение контролируется с помощью компьютерного зрения через три небольшие камеры, закрепленные на пластиковом основании манипулятора. По мнению разработчиков, ROSE мог бы пригодиться в сельском хозяйстве для сбора урожая и не только. В будущем они планируют продолжить работу над математической моделью деформации оболочки при скручивании. Иной тип мягкого манипулятора продемонстрировали инженеры из Австралии. Он способен ухватывать предметы, обвиваясь вокруг них как щупальце осьминога.