Компьютерная анимация смогла «натянуть» лицо одного актера на другого

Исследователи из Вашингтонского университета разработали компьютерную систему, которая позволяет создавать трехмерные анимированные модели лиц любых ныне живущих или уже умерших знаменитостей на основе общедоступных архивов их фотографий и видеозаписей. Любая такая трехмерная анимированная «маска» может быть наложена на видео с другой знаменитостью. В этом случае «маска» будет полностью повторять поведение и мимику «надевшего» ее персонажа, однако сохранять все характерные черты того, с кого она была «снята». Подробнее о работе можно прочитать в препринте на сайте Корнельского университета.  

Раньше, для того чтобы создать анимированную модель движений и мимики лица того или иного живого актера, необходимо было применить технологию захвата движения (motion capture), требующую размещения множества датчиков-маркеров на ключевых точках: носу, губам, скулам и бровям. Исследователям из Вашингтона удалось это сделать в отсутствие самих актеров, применив к множеству их фотографий и видеозаписей методы трекинга лица, его трехмерной реконструкции и мультитекстурного моделирования.

В конечном итоге, ученые получали как бы записанную последовательность варьирующихся во времени и зависящих от выражения лица комбинаций множества текстур. Условно они назвали ее «куклой». Далее они брали произвольную видеозапись другой знаменитости, которая становилась «кукловодом» – последовательность ее мимических действий должна была управлять сменой набора текстур «куклы» так, чтобы она в точности повторяла мимику «кукловода».

Чтобы добиться этого исследователи создавали усредненную 3D-модель лица «куклы», а потом динамически деформировали ее, соотнося с текущим выражением лица «кукловода». Параллельно деформации модели шел синтез текстур, в котором подбирались соответствующие, консистентные «несущей» модели и ее выражению лица комбинации, дававшие характерную экспрессию – улыбку, нахмуренность и т.д.

Финальный результат экспериментальных прогонов системы можно увидеть на видео – анимированные «куклы» или «маски» актеров Кевина Спейси и Дениела Крейга управляются как ими самими, так и  «кукловодом» Джорджем Бушем младшим.

Исследователи полагают, что их система найдет применение в создании видеоигр и фильмов, в которые можно будет инкорпорировать анимированные модели известных актеров (в том числе умерших, например, Брюса Ли) или политиков, без их прямого участия в съемках. Также возможно создание такого коммерческого продукта как чат-аватары, созданные по образу и подобию культовых личностей прошлого.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Покорители неба

В чем особенность исследований Blue Sky

Бывает, что ученые не представляют, каким будет конечный результат их работы и найдет ли она в обозримом будущем практическое применение. Высокорисковые исследования принято называть Blue Sky Science, или «наукой голубого неба». В 2022 году в России прошел первый конкурс «Blue Sky Research — Искусственный интеллект в науке», в котором участвовали исключительно такие проекты. А до 27 февраля 2023 года идет прием заявок на участие в конкурсе 2023 года, посвященном исследованиям на стыке искусственного интеллекта и АПК, пищевых технологий. Ко Дню российской науки, который отмечается в России 8 февраля, мы поговорили с молодыми учеными — финалистами первого конкурса. Рассказываем про их проекты, интересы и науку уровня Blue Sky.