Нейросеть превратила эскизы в цветные фотографии

Ученые из Университета Неймегена создали нейронную сеть, которая умеет воссоздавать цветные фотографии по зарисовкам. Работа авторов размещена на сайте arXiv.

Для обучения сверточной нейросети, состоящей из 11 слоев, исследователи использовали 200 тысяч фотографий лиц людей. С помощью компьютерной программы они были превращены в контурные, черно-белые или цветные эскизы. В ходе тренировки нейросеть должна была самостоятельно превратить зарисовку в реалистичную фотографию, которую могла бы сделать обычная фотокамера.

Затем ученые проверили ее работу с помощью новой базы данных. В итоге, наиболее качественными оказались фотографии, сделанные по эскизам, где были обозначены только контуры лица (

0,85), причем нейросеть могла создавать цветные изображения даже на основе черно-белых скетчей. Наименьшее сходство с оригинальными фотографиями достигалось, если за основу были взяты черно-белые зарисовски (индекс структурного сходства 0,65). Кроме того, для теста ученые ввели в систему автопортреты известных художников — Ван Гога, Рембрандта и Эшера — сделанные с помощью карандаша. Нейросети также удалось создать реалистичные цветные изображения на основе картин художников.

Некоторые трудности возникали, когда в скетчах, сделанных с помощью простого карандаша, не было достаточного количества теней. «Это можно объяснить отсутствием таких признаков в обучающих данных», —

авторы работы и замечают, что эти трудности можно преодолеть просто включив в базу изображений эскизы, которые больше будут похожи на настоящие работы художников.

Ученые предлагают использовать свою работу для воссоздания портретов знаменитых художников, которые не оставили после себя фотографий, но оставили наброски, и для фотороботов преступников. Недавно нейрофизиологам также

изображения лиц при помощи нейросети, однако в этом случае за основу были взяты данные томографии, сделанной во время того, как они смотрели на цветные фотографии людей.

Кристина Уласович
Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Безумие в наследство — 2

Как развитие технологий позволило нащупать «топологическое решение» загадки шизофрении

Шизофрения — одна из самых загадочных и сложных болезней человека. Уже более ста лет ученые пытаются понять причины ее возникновения и найти ключ к терапии. Пока эти усилия не слишком успешны: до сих пор нет ни препаратов, которые могли ли бы ее по-настоящему лечить, ни даже твердого понимания того, какие молекулярные и клеточные механизмы ведут к ее развитию. О том, как ученые бьются с «загадкой шизофрении» мы уже неоднократно писали: сначала с точки зрения истории психиатрии, затем с позиции классической генетики (читателю, который действительно хочет вникнуть в суть проблемы, будет очень полезно сначала прочитать хотя бы последний текст). На этот раз наш рассказ будет посвящен новым молекулярно-биологическим методам исследования, которые появились в распоряжении ученых буквально в последние несколько лет. Несмотря на сырость методик и предварительность результатов, уже сейчас с их помощью получены важнейшие данные, впервые раскрывающие механизм шизофрении на молекулярном уровне.