Нейросеть научили создавать пиксельную графику

Результат работы алгоритма
Chu Han et al. / SIGGRAPH Asia 2018
Китайские исследователи разработали алгоритм на базе сверточных нейросетей, способный создавать качественную пиксельную графику из обычных нарисованных изображений, а также восстанавливать сглаженное изображение из пиксельной графики. Разработчики применили метод обучения без учителя, благодаря чему им не пришлось вручную создавать для обучения пары обычных и пиксельных изображений. Посвященная алгоритму статья будет представлена на конференции SIGGRAPH Asia 2018.
Пиксельная графика, также известная как пиксель-арт, зародилась в 1970-х годах как способ воспроизвести реальные или вымышленные объекты на мониторах с низким разрешением. Несмотря на то, что на сегодняшний день разрешение распространенных мониторов составляет миллионы пикселей, и они способны отображать крайне реалистичную 3D-графику, пиксельная графика осталась достаточно популярной и используется, к примеру, во многих современных видеоиграх.
Обычно такую графику приходится создавать вручную на уровне отдельных пикселей. Если рисунок основан на реальном изображении, художнику необходимо не просто уменьшить его разрешение, а переработать, оставив глобальную структуру объекта и лишь важные детали. Из-за этого создание пиксельной графики требует много времени и усилий, и некоторые исследователи занимаются созданием алгоритмов, способных автоматизировать этот процесс.
Исследователи под руководством Тянь-Цзинь Вона (Tien-Tsin Wong) из Китайского университета Гонконга создали алгоритм, способный создавать качественную пиксельную графику, напоминающую работу настоящих художников. Алгоритм состоит из трех сверточных нейросетей и работает в двух направлениях. На входе он получает исходное изображение в высоком разрешении, обладающее большим количеством деталей. Это изображение подается на нейросеть GridNet, которая создает на его основе предварительный набор из трех изображений с несколькими уровнями пикселизации. Результат работы этой сети передается на сеть PixelNet, которая превращает этот набор изображений в три изображения, выполненных в стиле пиксельной графики. В конце работы алгоритма пиксельные изображения передаются на сеть DepixelNet, которая идентична PixelNet по строению, но выполняет обратную функцию — создает сглаженное изображение, напоминающее оригинал.
Григорий Копиев