Нейросеть превратит каракули в картины художников

Разработчик Алекс Шампандар (Alex Champandard) на основе сверточной нейронной сети сделал программу, которая умеет создавать изображения в стилистике, задаваемой картинами художников. Исходный код программы Neural Doodle размещен на GitHub, научная работа, которая будет представлена на конференции nucl.ai Conference 2016, доступна на сайте arXiv.org.

Программа представляет собой скрипт Python doodle.py, который генерирует картины, принимая в качестве входных параметров три или четыре изображения. На «вход» подается образец стиля в виде картины и ее семантической карты, которая фактически представляет деление изображения на зоны сходной фактуры, и простой набросок того, что должно получиться. Такой набросок можно создать в простейшем графическом редакторе — разработчик называет их doodle или «каракули». Альтернативно, вместо собственного наброска, можно ввести второе изображение вместе с семантической картой, и тогда произойдет обмен стилями между двумя картинками.

Сверточная нейронная сеть, в свою очередь, считывает стиль с картины художника и переносит их на пользовательский рисунок. Работа этой сети базируется на алгоритме, предложенном учеными из Майнцского университета. Для синтеза программа использует нейронную сеть VGG, отличающуюся особо большим числом скрытых слоев. Вводная картинка разбивается на части и ее характеристики, такие как цвет, зернистость, текстура считывается нейросетью. Затем она фактически сопоставляет стиль изображения с его содержанием (семантической картой) и после этого применяет стиль к другой семантической карте — наброску пользователя.

Для работы NeuralDoodle необходимо иметь Python 3.4+ и ноутбук с хорошей видеокартой. Разработчик также выложил ссылку для скачивания обученной нейросети. На рендеринг одного изображения уходит приблизительно час (Шампандар использует компьютер MacBook Pro 2014).

В прошлом году в сети приобрел популярность Твиттер-бот @DeepForger, созданный этим же разработчиком. Он стилизует отправленные ему фотографии под картины.

Кристина Уласович