Нейросеть пририсовала Моне Лизе лицо Бенедикта Камбербэтча

Американские разработчики научили нейросеть достоверно раскрашивать вставленные в картины сторонние объекты — в качестве одного из примеров авторы пририсовали Моне Лизе лицо Бенедикта Камбербэтча.Задача выполняется в три шага: вставка объекта, раскрашивание и коррекция текстуры. Препринт статьи с описанием работы алгоритма доступен на arXiv.org.

Добавить сторонний объект в фотографию — задача достаточно простая: с ней давно умеют справляться современные графические редакторы. Однако у подобного «дорисовывания» есть важное ограничение: объект нужно не только вставить, но и соблюсти стиль всего произведения. Вручную это сделать очень сложно: допустим, если мы хотим вставить домик на картину Моне, необходимо будет нарисовать его в стиле импрессионизма, а также подобрать цвета так, чтобы он достоверно сливался с окружением (фоном) картины. Сейчас существуют специальные алгоритмы, которые позволяют представить фотографии в определенном художественном стиле, но с задачами локальной разрисовки они справляются плохо.

Для того, чтобы решить эту задачу, разработчики из Корнеллского университета и Adobe Research под руководством Фужуна Луана (Fujun Luan) представили алгоритм, который может достоверно вставлять объекты в картины, сохраняя при этом стилистику целевого произведения. 

Алгоритм работает в три шага. Первый — самый простой — вставляет нужный объект на картину. Во время второго шага происходит первое раскрашивание вставленного объекта: с помощью метода k-ближайших соседей цвет объекта сопоставляется с цветом окружения и раскрашивается соответствующим образом. Во время третьего шага алгоритм восстанавливает текстуру объекта в соответствии с фоном и избавляет конечный продукт от возможных артефактов — также с помощью ближайших соседей.

В результате исследователям удалось научить нейросеть достоверно переносить объекты на изображения разных стилей. Авторы работы отмечают, что высокого качества по сравнению с другими алгоритмами, представленными ранее, им удалось добиться благодаря переносу стиля не между обширными областями изображения (в этом случае объект смешивается с фоном), а локально — как сравнивая по стилю объект и ближайший к нему фон, так и меняя стиль самого объекта внутри.

Результаты работы (17 созданных картин) затем показали добровольцам вместе с похожими картинами, созданными с помощью других подходов. В большинстве случаев (15 из 17) участники опроса считали достоверным перенос объекта, сделанный при помощи нового алгоритма.

Разработчики создают алгоритмы для работы не только со статичными изображениями, но и видео. Например, в нашей заметке вы можете узнать о том, как в NVIDIA научились синтезировать реалистичные видеоролики.

Елизавета Ивтушок