Компьютер превратит пейзажи Моне в фотографии

Программисты из Калифорнийского университета в Беркли, США, научили нейросеть превращать картины художников в реалистичные фотографии, и наоборот. Кроме того, она умеет подменять объекты на изображениях, например лошадей на зебр и яблоки на апельсины. Работа ученых доступна на сайте ArXiv.org, код программы можно найти на портале GitHub.

В последние годы исследователи все чаще создают программы, которые позволяют переносить стиль одного изображения на другое. В качестве примера можно привести приложение Prisma, куда пользователь загружает фотографию, а потом накладывает на снимок фильтры, сделанные на основе картин таких художников, как Рой Лихтенштейн, Кацусика Хокусай или Марк Шагал. Похожим образом работает твиттер-бот @DeepForger, а также онлайн-сервис для обработки изображений, основанный на разработке программистов из «Яндекса». Однако до сих пор исследователи не пытались создать систему, которая бы выполняла еще и обратную операцию.

Американские программисты разработали алгоритм, который извлекает ключевые характеристики стиля одного набора изображений, а потом определяет, как они могут быть применены к другому набору изображений. При этом исследователи отказались от использования в процессе обучения парных образцов, которые бы показывали, как должны выглядеть входные данные на выходе. Чтобы компьютер смог понять отношения между стилями, а также превратить картины в относительно реалистично выглядящие фотографии и трансформировать объекты на них, разработчики применили порождающую состязательную нейросеть (GAN). Нейросети такого типа состоят из двух компонентов: генеративного и различающего. Генератор создает образцы изображений, которые различающая система не сможет отличить от некоторых эталонных образцов. В результате получается нечто вроде «соревнования» между двумя частями нейросети (именно поэтому она и называется состязательной), в котором один компонент учится создавать качественные «подделки», а другой — их находить, что традиционно позволяет добиться качественного результата. Программисты также следили за работой алгоритма и вручную корректировали ошибки при анализе снимков.

Всего для тренировки программы было использовано около двух тысяч изображений работ Моне, Ван Гога и Сезанна, 1500 изображений картин в стиле укиё-э, 6753 пейзажных фотографий с Flickr, две тысячи снимков зебр и лошадей, а также более 50 тысяч фотографий других объектов. В итоге система научилась реалистично переносить стиль с одного изображения на другой, а также трансформировать объекты — однако с этой задачей она справляется намного хуже.

Например, при подмене яблок на апельсины форма фруктов частично искажается, а при превращении кошки в собаку животные и вовсе теряют основные черты. Наибольшего успеха удается добиться, когда алгоритм может ограничиться только изменением цвета и текстуры объекта.

Разработчики также отмечают, что их метод обучения все еще не так хорош, как метод парных образцов, однако он позволяет значительно сэкономить время при создании базы данных для тренировки системы.

Недавно программисты из Калифорнийского университета в Беркли создали систему, которая позволяет гораздо более реалистично изменять форму и цвет объектов на уже существующей фотографии. Они также использовали порождающую состязательную нейросеть. Кроме того, нейросети такого типа были использованы для превращения мужских лиц в женские, и наоборот, а также для изменения возраста людей на снимках.

Кристина Уласович