Ученые из Университета Неймегена создали нейронную сеть, которая умеет воссоздавать цветные фотографии по зарисовкам. Работа авторов размещена на сайте arXiv.
Для обучения сверточной нейросети, состоящей из 11 слоев, исследователи использовали 200 тысяч фотографий лиц людей. С помощью компьютерной программы они были превращены в контурные, черно-белые или цветные эскизы. В ходе тренировки нейросеть должна была самостоятельно превратить зарисовку в реалистичную фотографию, которую могла бы сделать обычная фотокамера.
Затем ученые проверили ее работу с помощью новой базы данных. В итоге, наиболее качественными оказались фотографии, сделанные по эскизам, где были обозначены только контуры лица (
0,85), причем нейросеть могла создавать цветные изображения даже на основе черно-белых скетчей. Наименьшее сходство с оригинальными фотографиями достигалось, если за основу были взяты черно-белые зарисовски (индекс структурного сходства 0,65). Кроме того, для теста ученые ввели в систему автопортреты известных художников — Ван Гога, Рембрандта и Эшера — сделанные с помощью карандаша. Нейросети также удалось создать реалистичные цветные изображения на основе картин художников.
Некоторые трудности возникали, когда в скетчах, сделанных с помощью простого карандаша, не было достаточного количества теней. «Это можно объяснить отсутствием таких признаков в обучающих данных», —
авторы работы и замечают, что эти трудности можно преодолеть просто включив в базу изображений эскизы, которые больше будут похожи на настоящие работы художников.
Ученые предлагают использовать свою работу для воссоздания портретов знаменитых художников, которые не оставили после себя фотографий, но оставили наброски, и для фотороботов преступников. Недавно нейрофизиологам также
изображения лиц при помощи нейросети, однако в этом случае за основу были взяты данные томографии, сделанной во время того, как они смотрели на цветные фотографии людей.