Нейросеть научили реалистичной деформации изображений
Исследователи из Adobe Research и Калифорнийского университета в Беркли разработали алгоритм, который позволяет реалистично изменять форму и цвет объектов на уже существующей фотографии. Доклад о результатах работы авторы представят на конференции ECCV 2016, которая пройдет в октябре в Амстердаме, исходный код проекта опубликован в репозитории GitHub.
Во многих современных графических редакторах существует инструмент, позволяющий редактировать форму какого-либо объекта. Обычно пользователь может увеличивать или, напротив, сжимать какой-либо фрагмент изображения, а также редактировать форму объекта вручную. Однако в результате ручной работы с формой (например, с инструментом «деформация»), как правило, приходится довольствоваться тем, что исходное изображение деформируется не совсем так, как планировалось, и поэтому выглядит неправдоподобно.
В новой работе исследователи использовали порождающую состязательную нейросеть (generative adversarial network) для реалистичного изменения существующего изображения. Авторы разработали интерфейс для редактирования изображений, а также обучили алгоритм на примере нескольких массивов данных. Для тренировки нейросети использовались несколько наборов данных с разными объектами: обувь из интернет-магазина Zappos, церкви из датасета LSUN, фотографии природы из базы данных MIT Places, а также изображения товаров из категорий «сумки» и «рубашки и футболки» интернет-магазина Amazon. Всего для обучения использовалось около 600 тысяч изображений.
В программном интерфейсе исследователи предусмотрели три режима работы: изменение цвета, скетч и деформация. С помощью скетча пользователь может на существующем изображении изобразить новую форму, а программа сгенерирует несколько превью, из которых можно будет выбрать окончательный вариант для обработки. С помощью режима деформации можно более точно указать изменение формы на локальных участках, а цветная кисть позволяет изменить цвет отдельного фрагмента.
Для демонстрации возможностей программы исследователи изменяли форму и цвет обуви, сумок и рубашек. Авторы отмечают, что с помощью обученного алгоритма можно не только изменять существующее изображение, но и генерировать новую сцену по нескольким цветным штрихам в режиме скетча. В качестве примера в демонстрационном ролике показано, как при помощи нескольких цветных штрихов сгенерировать пейзаж.
В последнее время для сложной и реалистичной обработки фотографий разные группы исследователей все чаще используют нейросети. С помощью подходящего набора данных для обучения нейросеть может самостоятельно раскрасить черно-белые снимки, сгенерировать новые шрифты, «перерисовать» уже существующее изображение в другом стиле, «додумать» существующее изображение и даже написать новый портрет Рембрандта. Подробнее о том, как нейросети обрабатывают изображения, можно прочитать в материале N+1 «На выставке Ван Гога».
Он надежно обхватывает хрупкие предметы, не повреждая их
Инженеры из Японии и Вьетнама разработали мягкий манипулятор ROSE, способный бережно захватывать хрупкие предметы, не повреждая их. Он состоит из мягкой воронкообразной оболочки, напоминающей цветок розы, которая способна скручиваться, равномерно обхватывая предмет, оказавшийся внутри. Благодаря своей универсальности и прочности манипулятор может пригодиться в сельском хозяйстве для сбора урожая. Доклад с описанием конструкции был представлен на конференции Robotics: Science and Systems, 2023. При поддержке Angie — первого российского веб-сервера Чтобы робот мог безопасно взаимодействовать с хрупкими объектами, его обычно оснащают манипуляторами, в конструкции которых присутствуют мягкие материалы. Нередко их устройство в той или иной степени имитирует анатомию человеческой руки. Например, пальцы трехпалого захвата EndoFlex с внутренней стороны покрыты мягким силиконом. Однако для управления манипуляторами такого типа обычно требуются несколько актуаторов и сложные алгоритмы позиционирования, которые позволяют подстраивать пространственное положение пальцев и руки в соответствии формой и положением захватываемого предмета. Кроме это, сила прикладывается к объекту неравномерно и только в точках соприкосновения с пальцами, поэтому ее может оказаться недостаточно для удержания. Манипулятор, разработанный инженерами под руководством Ван Ан Хо (Van Anh Ho) из Японского национального института передовых промышленных наук и технологи, имеет более простую конструкцию и для полноценной работы достаточно только одного актуатора. Принцип его работы напоминает раскрытие цветка розы, поэтому разработчики дали ему название ROSE. Рабочая часть манипулятора представляет собой прочную оболочку из силиконовой резины (первые повреждения на изогнутом краю появились только после 400 тысяч циклов срабатывания), которая образует двустенный стакан. Внешняя часть оболочки прикреплена нижней частью к круглому пластиковому основанию с отверстием в центре, а внутренняя воронкообразная поверхность к вращающемуся цилиндру, вставленному в центральное отверстие основания. При вращении внутренней оболочки относительно внешней происходит сжатие манипулятора. Если при этом во внутренней полости оказывается предмет, то он равномерно обхватывается с боков. Усилие и площадь обхвата можно регулировать с помощью угла закручивания оболочек относительно друг друга, а также нагнетанием давления воздуха в пространство между стенками стакана. Для изучения характеристик манипулятора его присоединили к роборуке UR5. Испытания показали, что захват может выдержать максимальную нагрузку около 328 Ньютон при собственной массе захвата 49 грамм, что дает значение соотношения грузоподъемности к весу примерно 6800 процентов от массы захвата вместе с ротором. Манипулятор может бережно и безопасно обхватывать хрупкие предметы различной формы и размеров не нанося им повреждений. В экспериментах использовались стальные шары, фрукты, клейкая лента, банка с кофе и куриное яйцо, которое захват легко вытащил из миски с оливковым маслом, что довольно трудно осуществить, так как из-за масла яйцо становится скользким. Кроме этого, ROSE может захватывать и сыпучие материалы, например, гравий и гальку. https://www.youtube.com/watch?v=E1wAI09LaoY Инженеры придумали способ, с помощью которого манипулятору можно добавить способность «чувствовать» захватываемый предмет. Для этого они разместили множество небольших меток с внутренней стороны оболочки. Их положение контролируется с помощью компьютерного зрения через три небольшие камеры, закрепленные на пластиковом основании манипулятора. По мнению разработчиков, ROSE мог бы пригодиться в сельском хозяйстве для сбора урожая и не только. В будущем они планируют продолжить работу над математической моделью деформации оболочки при скручивании. Иной тип мягкого манипулятора продемонстрировали инженеры из Австралии. Он способен ухватывать предметы, обвиваясь вокруг них как щупальце осьминога.