Группа исследователей из Университета Эрлангена — Нюрнберга, Института информатики Общества Макса Планка и Стэнфордского университета разработали систему, которая позволяет с высокой точностью в режиме реального времени анимировать лицо одного человека, используя в качестве источника мимики лицо другого. Исследование будет опубликовано в журнале ACM Transactions on Graphics, с препринтом статьи можно ознакомиться на сайте Стэнфордского университета.
При помощи датчика глубины изображения система строит маску для каждого из двух участников трансляции. К маске привязаны условные мимические точки на поверхности лица. Считывая деформацию маски источника, система в режиме реального времени создает фотореалистичную анимированную версию лица принимающей стороны поверх настоящего изображения.
Аппаратная конфигурация системы доступна для приобретения широкому кругу лиц. В частности, в системе, продемонстрированной на видео, использовалась камера Asus Xtion PRO и компьютер с процессором Intel Core i7 и видеокартой Nvidia GTX980. Вычислительных мощностей подобной рабочей станции хватает для работы на лету с видеопотоком разрешением 1280x1024 пикселей.
Благодаря технологии отслеживания движения система может передавать эмоции даже при разном положении головы источника и принимающей стороны, а искажения становятся видны, только когда в кадре появляется объект, перекрывающий лицо или голова отклоняется от камеры на слишком большой угол. Также система учитывает освещение и цветопередачу, поэтому может использоваться в качестве виртуального зеркала.
Подобные разработки могут пригодится при создании компьютерных игр, при дубляже кинофильмов на разные языки или при организации прямых трансляций на разных языках. Ранее похожую разработку продемонстрировали исследователи из Вашингтонского университета, однако в их случае модель эмоций с лица источника «натягивалась» на модель на основе фотографии других людей и передавала мимику лица в том же ракурсе, что и источник.