Компания NVIDIA представила GauGAN — программу, которая умеет превращать наброски в фотореалистичные изображения. В основе ее работы — генеративно-состязательные нейросети, которые обучались на миллионе изображений пейзажей. Технологию представили на ежегодной конференции компании GTC 2019, которая прошла в Калифорнии.
Создание новых объектов (чаще всего — изображений) с помощью генеративно-состязательных нейросетей — технология уже не новая. Такие алгоритмы могут создавать оригинальные произведения искусства, а совсем недавно разработчики научили такие нейросети создавать портреты несуществующих людей и животных. Что касается создания объектов на основе набросков, то временами у таких алгоритмов получаются не самые правдоподобные результаты: например, нейросеть, которая превращает наброски людей в фотореалистичные портреты, чаще всего выдает что-то слегка пугающее, так как ее работа во многом зависит от навыков рисования набросков того, кто ей пользуется.
Рисование пейзажей генеративно-состязательными сетями — задача в этом смысле намного более простая, но и здесь, по сути, результат может сильно отличаться в зависимости от того, насколько удачным получился сам набросок. GauGAN (по задумке разработчиков, название алгоритма созвучно с именем Поля Гогена — художника-постимпрессиониста) может создать фотореалистичное изображение даже на основе совершенно базового наброска из линий и кружочков. В интерфейсе программы доступны несколько «цветов», каждый из которых соответствует объекту, который можно нарисовать: так, в приложении есть «цвета» для облаков, холмов, цветов, полей и других атрибутов пейзажа.
Технологию, которая лежит в основе закрашивания участков специальными текстурами, ученые назвали пространственно-адаптируемой нормализацией (spatially-adaptive normalization, сокращенно SPADE): препринт статьи, в котором она описана, сейчас доступен на arXiv.org. Такая технология как раз и работает на основе генеративно-состязательных нейросетей: обученная на большом количестве изображений, такая система создает фотореалистичные текстуры не всему изображению целиком, а некоторым его частям (как раз цветовым наброскам). Это, по мнению разработчиков, позволяет эффективно облегчить и улучшить процесс «рисования».
Пока что приложение представляет собой демоверсию: из текстур в нем доступны только те, которые позволяют создавать на основе набросков пейзажи. В статье, однако, ученые представляют также и результаты работы нейросети в процессе создания объектов, животных и людей.
В скором времени демоверсия разработки также должна появиться как часть проекта компании NVIDIA AI Playground: с помощью него любой желающий сможет опробовать эту и другие технологии по созданию и обработке изображений в действии.
Елизавета Ивтушок
Как инженеры создали первые цифровые изображения
Мнение редакции может не совпадать с мнением автора
К середине XX века люди уже изобрели компьютеры, однако во всем мире существовало всего несколько цифровых изображений. Считалось, что вычислительные машины нужны для серьезных задач, а эксперименты с картинками — всего лишь развлечение. В книге «Пиксель. История одной точки» (издательство «Individuum»), переведенной на русский язык Алексеем Снигировым, один из основоположников современной анимации Элви Рэй Смит рассказывает биографию цифровых изображений, захвативших мир в XXI веке, а также размышляет об истории искусства, технологиях и бизнесе. Предлагаем вам ознакомиться с фрагментом о том, как разработка памяти для электронного компьютера обернулась созданием первых цифровых изображений, но до этого никому не было дела.