Исследователи из Вашингтонского университета разработали компьютерную систему, которая позволяет создавать трехмерные анимированные модели лиц любых ныне живущих или уже умерших знаменитостей на основе общедоступных архивов их фотографий и видеозаписей. Любая такая трехмерная анимированная «маска» может быть наложена на видео с другой знаменитостью. В этом случае «маска» будет полностью повторять поведение и мимику «надевшего» ее персонажа, однако сохранять все характерные черты того, с кого она была «снята». Подробнее о работе можно прочитать в препринте на сайте Корнельского университета.
Раньше, для того чтобы создать анимированную модель движений и мимики лица того или иного живого актера, необходимо было применить технологию захвата движения (motion capture), требующую размещения множества датчиков-маркеров на ключевых точках: носу, губам, скулам и бровям. Исследователям из Вашингтона удалось это сделать в отсутствие самих актеров, применив к множеству их фотографий и видеозаписей методы трекинга лица, его трехмерной реконструкции и мультитекстурного моделирования.
В конечном итоге, ученые получали как бы записанную последовательность варьирующихся во времени и зависящих от выражения лица комбинаций множества текстур. Условно они назвали ее «куклой». Далее они брали произвольную видеозапись другой знаменитости, которая становилась «кукловодом» – последовательность ее мимических действий должна была управлять сменой набора текстур «куклы» так, чтобы она в точности повторяла мимику «кукловода».
Чтобы добиться этого исследователи создавали усредненную 3D-модель лица «куклы», а потом динамически деформировали ее, соотнося с текущим выражением лица «кукловода». Параллельно деформации модели шел синтез текстур, в котором подбирались соответствующие, консистентные «несущей» модели и ее выражению лица комбинации, дававшие характерную экспрессию – улыбку, нахмуренность и т.д.
Финальный результат экспериментальных прогонов системы можно увидеть на видео – анимированные «куклы» или «маски» актеров Кевина Спейси и Дениела Крейга управляются как ими самими, так и «кукловодом» Джорджем Бушем младшим.
Исследователи полагают, что их система найдет применение в создании видеоигр и фильмов, в которые можно будет инкорпорировать анимированные модели известных актеров (в том числе умерших, например, Брюса Ли) или политиков, без их прямого участия в съемках. Также возможно создание такого коммерческого продукта как чат-аватары, созданные по образу и подобию культовых личностей прошлого.