Нейросеть оживила фигуры людей на фотографиях

Американские разработчики создали алгоритм, способный оживлять фигуры людей на двумерных изображениях. Он создает для нарисованного человека трехмерную модель, а затем воспроизводит анимацию с выбегающей из картины моделью. Посвященная разработке статья опубликована на arXiv.org.

Смотря на фотографию, человек обычно может представить, как двигались объекты в кадре после того, как он был сделан. Для алгоритмов эта задача пока достаточно сложна. Пока исследователи в основном занимаются разработкой алгоритмов, которые могут воссоздать лишь небольшую часть движений людей на изображениях. К примеру, в прошлом году разработчики из Тель-Авивского университета и компании Facebook научили алгоритм анимировать мимику лица на портретах.

Другая группа разработчиков из Вашингтонского университета и Facebook под руководством Иры Кемельмахер-Шлицерман (Ira Kemelmacher-Shlizerman) создала алгоритм, который может создать на основе одного двумерного кадра полноценную анимацию с выбеганием человека за пределы фотографии:

Созданная исследователями система представляет собой связку из нескольких разработанных ранее алгоритмов и собственного кода. Изначально она принимает двумерное изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе алгоритм распознает на изображении область с человеком и отделяет ее от фона. Затем еще один разработанный ранее алгоритм превращает область изображения с человеком в двумерную модель скелета, состоящую из прямых сегментов и их соединений. После этого еще один алгоритм создает реалистичный фон в областях кадра, изначально закрытых человеком.

После создания двумерной модели алгоритм создает на ее базе трехмерную модель и накладывает на нее текстуру, созданную на основе изображения человека из исходного кадра. В результате пользователь получает модель, которая может совершать произвольные движения, к примеру, выбегать из кадра. Кроме того, пользователь может вручную изменить положение частей тела модели перед началом анимации.

Разработчики создали несколько режимов работы алгоритма. В одном из них алгоритм создает обычную анимацию на мониторе, а в другом он может выводить ее в дополненной реальности. К примеру, таким способом разработчики превратили обычную картину на стене в интерактивную.

В прошлом году группа Иры Кемельмахер-Шлицерман создала другой алгоритм для создания реалистичной анимации. Он способен вставлять запись чужой речи в произвольный видеоряд, изменяя мимику человека на ролике таким образом, чтобы она соответствовала произносимым в этот момент словам. А в начале 2018 года индийские разработчики представили другой алгоритм для оживления статичных кадров. Они научили его преобразовывать фотографии с артефактами движения в короткие реалистичные видеоролики с подходящим движением.

Григорий Копиев