Компьютер научился разбираться в человеческой рутине
Исследователи из Технологического института Джорджии при помощи глубокого обучения нейросетей смогли научить алгоритм определять по снимкам от первого лица характер активности, в которую вовлечен человек. С полным текстом исследования можно ознакомиться на сайте института.
В рамках исследования участник эксперимента на протяжении шести месяцев носил на груди смартфон в чехле. Установленное на мобильном устройстве приложение делало снимки от первого лица с частотой раз в минуту в первые недели исследования, позже интервал увеличили до одной фотографии раз в пять минут. При этом в обязанности испытуемого входило присвоение фотографиям меток о текущей активности. Одной из важных проблем при сборе данных авторы считали возможное нарушение неприкосновенности частной жизни как испытуемого и его семьи, так и людей, которые случайно попали в объектив камеры. Для того, чтобы учесть этот нюанс, испытуемый каждый вечер фильтровал снимки и удалял нежелательные, по его мнению, фотографии.
После того, как сбор данных был окончен, исследователи отобрали 40 тысяч фотографий, сделанных за этот период и правильно помещенных в одну из 19 категорий: работа по дому, вождение, готовка, физическая тренировка, чтение, выступление, собаки, отдых, еда, работа, разговор, просмотр телевизора, встреча, уборка, совместное времяпровождение, ходьба по магазинам, езда на велосипеде, семья и гигиена. Также для каждой фотографии было указано время, в которое сделан снимок.
Натренированная на этом наборе данных нейросеть по незнакомому снимку с нательной камеры того же испытуемого показала результат угадывания активности с точностью 83,07 процентов. При этом, отмечают исследователи, на переучивание для распознавания занятий другого человека в рамках существующих рубрик алгоритму требуется набор фотографий с аннотациями всего за два дня.
Поскольку у алгоритма есть возможность указать только одну рубрику, то основные сложности с распознаванием возникают именно тогда, когда несколько конфликтующих активностей определены на фотографии одновременно. В частности, авторы указывают, что хуже всего вышло с определением рубрик «работа по дому» и «разговор», поскольку нейросеть часто путает их с рубриками «уборка по дому», «работа» и «семья».
Как считают исследователи, одно из применений их разработки в будущем возможно в качестве универсального личного секретаря. Например, предугадав намерение ехать на автомобиле на работу, алгоритм сможет без вмешательства со стороны пользователя предупредить о пробке и проложить маршрут объезда еще до того, как человек соберется выходить из дома.
Он надежно обхватывает хрупкие предметы, не повреждая их
Инженеры из Японии и Вьетнама разработали мягкий манипулятор ROSE, способный бережно захватывать хрупкие предметы, не повреждая их. Он состоит из мягкой воронкообразной оболочки, напоминающей цветок розы, которая способна скручиваться, равномерно обхватывая предмет, оказавшийся внутри. Благодаря своей универсальности и прочности манипулятор может пригодиться в сельском хозяйстве для сбора урожая. Доклад с описанием конструкции был представлен на конференции Robotics: Science and Systems, 2023. При поддержке Angie — первого российского веб-сервера Чтобы робот мог безопасно взаимодействовать с хрупкими объектами, его обычно оснащают манипуляторами, в конструкции которых присутствуют мягкие материалы. Нередко их устройство в той или иной степени имитирует анатомию человеческой руки. Например, пальцы трехпалого захвата EndoFlex с внутренней стороны покрыты мягким силиконом. Однако для управления манипуляторами такого типа обычно требуются несколько актуаторов и сложные алгоритмы позиционирования, которые позволяют подстраивать пространственное положение пальцев и руки в соответствии формой и положением захватываемого предмета. Кроме это, сила прикладывается к объекту неравномерно и только в точках соприкосновения с пальцами, поэтому ее может оказаться недостаточно для удержания. Манипулятор, разработанный инженерами под руководством Ван Ан Хо (Van Anh Ho) из Японского национального института передовых промышленных наук и технологи, имеет более простую конструкцию и для полноценной работы достаточно только одного актуатора. Принцип его работы напоминает раскрытие цветка розы, поэтому разработчики дали ему название ROSE. Рабочая часть манипулятора представляет собой прочную оболочку из силиконовой резины (первые повреждения на изогнутом краю появились только после 400 тысяч циклов срабатывания), которая образует двустенный стакан. Внешняя часть оболочки прикреплена нижней частью к круглому пластиковому основанию с отверстием в центре, а внутренняя воронкообразная поверхность к вращающемуся цилиндру, вставленному в центральное отверстие основания. При вращении внутренней оболочки относительно внешней происходит сжатие манипулятора. Если при этом во внутренней полости оказывается предмет, то он равномерно обхватывается с боков. Усилие и площадь обхвата можно регулировать с помощью угла закручивания оболочек относительно друг друга, а также нагнетанием давления воздуха в пространство между стенками стакана. Для изучения характеристик манипулятора его присоединили к роборуке UR5. Испытания показали, что захват может выдержать максимальную нагрузку около 328 Ньютон при собственной массе захвата 49 грамм, что дает значение соотношения грузоподъемности к весу примерно 6800 процентов от массы захвата вместе с ротором. Манипулятор может бережно и безопасно обхватывать хрупкие предметы различной формы и размеров не нанося им повреждений. В экспериментах использовались стальные шары, фрукты, клейкая лента, банка с кофе и куриное яйцо, которое захват легко вытащил из миски с оливковым маслом, что довольно трудно осуществить, так как из-за масла яйцо становится скользким. Кроме этого, ROSE может захватывать и сыпучие материалы, например, гравий и гальку. https://www.youtube.com/watch?v=E1wAI09LaoY Инженеры придумали способ, с помощью которого манипулятору можно добавить способность «чувствовать» захватываемый предмет. Для этого они разместили множество небольших меток с внутренней стороны оболочки. Их положение контролируется с помощью компьютерного зрения через три небольшие камеры, закрепленные на пластиковом основании манипулятора. По мнению разработчиков, ROSE мог бы пригодиться в сельском хозяйстве для сбора урожая и не только. В будущем они планируют продолжить работу над математической моделью деформации оболочки при скручивании. Иной тип мягкого манипулятора продемонстрировали инженеры из Австралии. Он способен ухватывать предметы, обвиваясь вокруг них как щупальце осьминога.