Исследователи из Калифорнийского университета в Беркли создали программу, способную реалистично раскрашивать черно-белые фотографии. Препринт работы доступен на arxiv.org. Кратко об исследовании рассказывает PetaPixel. Исходный код опубликован в репозитории GitHub.
Авторы работы использовали сверточную нейронную сеть (CNN), для обучения которой использовались готовые классифицированные наборы изображений, в том числе SUN. Благодаря этому программа при обработке изображения определяет, к какому типу сцен относится изображение и ориентируется на похожие снимки при подборе цветов.
При оценке результатов работы программы участники опроса в 20 процентах случаев посчитали, что снимки раскрашены человеком. Авторы работы отмечают, что этот показатель выше, чем у предыдущих исследований в этой же области.
Ранее была представлена нейросеть, которая умеет создавать изображения в стилистике, задаваемой картинами художников. На «вход» подается образец стиля в виде картины и ее семантической карты, которая фактически представляет деление изображения на зоны сходной фактуры, и простой набросок того, что должно получиться.