Группа исследователей из Университета Эрлангена — Нюрнберга, Института информатики Общества Макса Планка и Стэнфордского университета продемонстрировала работу системы «замены лиц» в режиме реального времени face2face на известных политиках, среди которых были Джордж Буш, Владимир Путин, Дональд Трамп и Барак Обама. Доклад о проделанной работе будет представлен на конференции CVPR 2016. Исследование было опубликовано еще в ноябре 2015 года в журнале ACM Transactions on Graphics, однако тогда не привлекло широкого внимания со стороны СМИ.
При помощи датчика глубины изображения система строит маску для каждого из двух участников трансляции. К маске привязаны условные мимические точки на поверхности лица. Считывая деформацию маски источника, система в режиме реального времени создает фотореалистичную анимированную версию лица принимающей стороны поверх настоящего изображения.
Аппаратная конфигурация системы, использованная в оригинальном исследовании, доступна для приобретения широкому кругу лиц. В частности, в системе, продемонстрированной на видео, использовалась камера Asus Xtion PRO и компьютер с процессором Intel Core i7 и видеокартой Nvidia GTX980. Вычислительных мощностей подобной рабочей станции хватает для работы на лету с видеопотоком разрешением 1280x1024 пикселей.
Благодаря технологии отслеживания движения система может передавать эмоции даже при разном положении головы источника и принимающей стороны, а искажения становятся видны, только когда в кадре появляется объект, перекрывающий лицо или голова отклоняется от камеры на слишком большой угол. Также система учитывает освещение и цветопередачу, поэтому может использоваться в качестве виртуального зеркала.
Подобные разработки могут пригодится при создании компьютерных игр, при дубляже кинофильмов на разные языки или при организации прямых трансляций на разных языках. Ранее похожую разработку продемонстрировали исследователи из Вашингтонского университета, однако в их случае модель эмоций с лица источника «натягивалась» на модель на основе фотографии других людей и передавала мимику лица в том же ракурсе, что и источник.