Нейросеть научилась реалистично раскрашивать черно-белые снимки

Слева направо: черно-белое изображение, раскрашенное нейросетью и фотография с изначальными цветами.

Richard Zhang et al. / University of California, Berkeley

Исследователи из Калифорнийского университета в Беркли создали программу, способную реалистично раскрашивать черно-белые фотографии. Препринт работы доступен на arxiv.org. Кратко об исследовании рассказывает PetaPixel. Исходный код опубликован в репозитории GitHub.

Авторы работы использовали сверточную нейронную сеть (CNN), для обучения которой использовались готовые классифицированные наборы изображений, в том числе SUN. Благодаря этому программа при обработке изображения определяет, к какому типу сцен относится изображение и ориентируется на похожие снимки при подборе цветов.

При оценке результатов работы программы участники опроса в 20 процентах случаев посчитали, что снимки раскрашены человеком. Авторы работы отмечают, что этот показатель выше, чем у предыдущих исследований в этой же области.


Ранее была представлена нейросеть, которая умеет создавать изображения в стилистике, задаваемой картинами художников. На «вход» подается образец стиля в виде картины и ее семантической карты, которая фактически представляет деление изображения на зоны сходной фактуры, и простой набросок того, что должно получиться.

Николай Воронцов

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.