Компьютер научили «оживлять» портреты

Новый алгоритм переносит мимику лица из видео на статичные изображения, тем самым «оживляя» их. Для создания такой анимации достаточно всего одного изображения человека, и видеозаписи, с которой переносится мимика. Работа исследователей из Тель-Авивского университета и Facebook, посвященная разработке, будет представлена на конференции SIGGRAPH Asia 2017. С текстом доклада можно ознакомиться на сайте университета.

Существуют различные методы захвата движений, позволяющие собирать данные о движениях и мимике человека, переводить их в цифровой вид, а затем переносить на трехмерную модель другого человека или персонажа. Как правило, эти данные о движениях собираются с помощью специальных датчиков, или множества маркеров для камер, закрепляемых на теле человека. Например, такой подход часто используется при создании фильмов с большим объемом компьютерной анимации.

В последние годы появляются и методы для переноса мимики лица без использования дополнительного оборудования, причем некоторые из них позволяют переносить движения не на компьютерную модель, а на реальные изображения других людей. Одна из проблем таких технологий заключается в том, что зачастую в качестве исходных данных для них требуется большой объем исходных данных.

Исследователи создали технологию, которой для такого переноса достаточно одной фотографии или рисунка. В качестве исходных данных новому алгоритму требуется видеозапись с требуемой мимикой и изображение, на которое она переносится. Затем с алгоритм наносит на лицо с видеозаписи виртуальные маркеры, и отслеживает с их помощью изменения положений частей лица, к примеру, искривление контуров рта при улыбке. Для этого исследователи использовали открытую библиотеку для машинного обучения Dlib-ml.

Одних этих данных недостаточно для реалистичной анимации, поэтому разработчики также научили алгоритм наносить на целевое изображение недостающие детали, такие как морщины, образующиеся при сильных изменениях выражения лица, или зубы при открытии рта. Изменение мимики на целевом изображении происходит с помощью искривления изображения, причем алгоритм автоматически исправляет образующиеся из-за этого искривления на фоне лица и исправляет их.

Исследователи предложили несколько возможных применений для этой технологии. Например, они показали модифицированную страницу профиля в Facebook, на которой фотография владельца профиля меняет мимику в зависимости от типа оценки, которую пользователи ставят под его публикациями.

Похожие технологии представляли и другие исследователи, к примеру, недавно американские ученые представили алгоритм на основе рекуррентой нейросети, который позволяет реалистично переносить аудиозапись речи одного человека на видеозапись другого человека. Ранее та же группа исследователей применила похожую технологию для создания трехмерных анимированных моделей лиц знаменитостей. Стоит отметить, что в отличии от нового алгоритма, в обоих случаях использовался большой массив фотографий или видеозаписей.

Григорий Копиев