Компьютерная анимация смогла «натянуть» лицо одного актера на другого

Исследователи из Вашингтонского университета разработали компьютерную систему, которая позволяет создавать трехмерные анимированные модели лиц любых ныне живущих или уже умерших знаменитостей на основе общедоступных архивов их фотографий и видеозаписей. Любая такая трехмерная анимированная «маска» может быть наложена на видео с другой знаменитостью. В этом случае «маска» будет полностью повторять поведение и мимику «надевшего» ее персонажа, однако сохранять все характерные черты того, с кого она была «снята». Подробнее о работе можно прочитать в препринте на сайте Корнельского университета.  

Раньше, для того чтобы создать анимированную модель движений и мимики лица того или иного живого актера, необходимо было применить технологию захвата движения (motion capture), требующую размещения множества датчиков-маркеров на ключевых точках: носу, губам, скулам и бровям. Исследователям из Вашингтона удалось это сделать в отсутствие самих актеров, применив к множеству их фотографий и видеозаписей методы трекинга лица, его трехмерной реконструкции и мультитекстурного моделирования.

В конечном итоге, ученые получали как бы записанную последовательность варьирующихся во времени и зависящих от выражения лица комбинаций множества текстур. Условно они назвали ее «куклой». Далее они брали произвольную видеозапись другой знаменитости, которая становилась «кукловодом» – последовательность ее мимических действий должна была управлять сменой набора текстур «куклы» так, чтобы она в точности повторяла мимику «кукловода».

Чтобы добиться этого исследователи создавали усредненную 3D-модель лица «куклы», а потом динамически деформировали ее, соотнося с текущим выражением лица «кукловода». Параллельно деформации модели шел синтез текстур, в котором подбирались соответствующие, консистентные «несущей» модели и ее выражению лица комбинации, дававшие характерную экспрессию – улыбку, нахмуренность и т.д.

Финальный результат экспериментальных прогонов системы можно увидеть на видео – анимированные «куклы» или «маски» актеров Кевина Спейси и Дениела Крейга управляются как ими самими, так и  «кукловодом» Джорджем Бушем младшим.

Исследователи полагают, что их система найдет применение в создании видеоигр и фильмов, в которые можно будет инкорпорировать анимированные модели известных актеров (в том числе умерших, например, Брюса Ли) или политиков, без их прямого участия в съемках. Также возможно создание такого коммерческого продукта как чат-аватары, созданные по образу и подобию культовых личностей прошлого.