Ученые из университета Суррея в Великобритании и научно-исследовательской организации Disney Research (несколько лабораторий, где занимаются опытными разработками для Walt Disney и Pixar), представили программное обеспечение, которое позволяет менять выражения лиц актеров на стадии постпродакшена. Программа будет представлена на конференции ICCV 2015 (International Conference on Computer Vision) в середине декабря. С результатами можно ознакомиться здесь.
FaceDirector анализирует выражения лиц и ключевую аудио-информацию. После формирования представления об опорных точках лица, система задействует технологию оптического потока, накладывает изображения одно на другое и генерирует новые кадры. Оптический поток помогает рассчитать расстояние, на которое тот или иной объект сместился по отношению к его же положению на предыдущем кадре за то время, которое прошло между фиксацией кадров. «Расстояние» между кадрами система определяет на основе графовых алгоритмов – в результате FaceDirector «смешивает» несколько выражений лиц в одно, что позволяет режиссеру выбрать нужное уже после окончания съемок.
Систему протестировали при помощи нескольких актеров, которые повторяли один и тот же текст, выражая разные эмоции – счастье, грусть, воодушевление, страх, злость и т.д. Съемки проводились обычными HD камерами. Исследователи синхронизировали видео в режиме реального времени, и пользователи за компьютерами генерировали новые эмоции прямо во время съемок.
По словам исследователя из Disney Research Жан-Чарльза Базина (Jean-Charles Bazin), FaceDirector убедительно показывает себя на крупных и средних планах. Программа использует видео с обычных камер и не нуждается в помощи каких-либо 3D систем.
Александра Стуккей