Программа поможет актерам доиграть после съемок

Кадры из двух несинхронных дублей (верхний и средний ряд), и их синхронизированный синтетический видеоряд.

Изображение: Disney Research Zurich/Charles Malleson et al., 2015

Ученые из университета Суррея в Великобритании и научно-исследовательской организации Disney Research (несколько лабораторий, где занимаются опытными разработками для Walt Disney и Pixar), представили программное обеспечение, которое позволяет менять выражения лиц актеров на стадии постпродакшена. Программа будет представлена на конференции ICCV 2015 (International Conference on Computer Vision) в середине декабря. С результатами можно ознакомиться здесь.

FaceDirector анализирует выражения лиц и ключевую аудио-информацию. После формирования представления об опорных точках лица, система задействует технологию оптического потока, накладывает изображения одно на другое и генерирует новые кадры. Оптический поток помогает рассчитать расстояние, на которое тот или иной объект сместился по отношению к его же положению на предыдущем кадре за то время, которое прошло между фиксацией кадров. «Расстояние» между кадрами система определяет на основе графовых алгоритмов – в результате FaceDirector «смешивает» несколько выражений лиц в одно, что позволяет режиссеру выбрать нужное уже после окончания съемок.

Систему протестировали при помощи нескольких актеров, которые повторяли один и тот же текст, выражая разные эмоции – счастье, грусть, воодушевление, страх, злость и т.д. Съемки проводились обычными HD камерами. Исследователи синхронизировали видео в режиме реального времени, и пользователи за компьютерами генерировали новые эмоции прямо во время съемок.

По словам исследователя из Disney Research Жан-Чарльза Базина (Jean-Charles Bazin), FaceDirector убедительно показывает себя на крупных и средних планах. Программа использует видео с обычных камер и не нуждается в помощи каких-либо 3D систем.

Александра Стуккей

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.