Эмоции научились «натягивать» с одного лица на другое в режиме реального времени
Группа исследователей из Университета Эрлангена — Нюрнберга, Института информатики Общества Макса Планка и Стэнфордского университета разработали систему, которая позволяет с высокой точностью в режиме реального времени анимировать лицо одного человека, используя в качестве источника мимики лицо другого. Исследование будет опубликовано в журнале ACM Transactions on Graphics, с препринтом статьи можно ознакомиться на сайте Стэнфордского университета.
При помощи датчика глубины изображения система строит маску для каждого из двух участников трансляции. К маске привязаны условные мимические точки на поверхности лица. Считывая деформацию маски источника, система в режиме реального времени создает фотореалистичную анимированную версию лица принимающей стороны поверх настоящего изображения.
Аппаратная конфигурация системы доступна для приобретения широкому кругу лиц. В частности, в системе, продемонстрированной на видео, использовалась камера Asus Xtion PRO и компьютер с процессором Intel Core i7 и видеокартой Nvidia GTX980. Вычислительных мощностей подобной рабочей станции хватает для работы на лету с видеопотоком разрешением 1280x1024 пикселей.
Благодаря технологии отслеживания движения система может передавать эмоции даже при разном положении головы источника и принимающей стороны, а искажения становятся видны, только когда в кадре появляется объект, перекрывающий лицо или голова отклоняется от камеры на слишком большой угол. Также система учитывает освещение и цветопередачу, поэтому может использоваться в качестве виртуального зеркала.
Подобные разработки могут пригодится при создании компьютерных игр, при дубляже кинофильмов на разные языки или при организации прямых трансляций на разных языках. Ранее похожую разработку продемонстрировали исследователи из Вашингтонского университета, однако в их случае модель эмоций с лица источника «натягивалась» на модель на основе фотографии других людей и передавала мимику лица в том же ракурсе, что и источник.
В чем особенность исследований Blue Sky
Бывает, что ученые не представляют, каким будет конечный результат их работы и найдет ли она в обозримом будущем практическое применение. Высокорисковые исследования принято называть Blue Sky Science, или «наукой голубого неба». В 2022 году в России прошел первый конкурс «Blue Sky Research — Искусственный интеллект в науке», в котором участвовали исключительно такие проекты. А до 27 февраля 2023 года идет прием заявок на участие в конкурсе 2023 года, посвященном исследованиям на стыке искусственного интеллекта и АПК, пищевых технологий. Ко Дню российской науки, который отмечается в России 8 февраля, мы поговорили с молодыми учеными — финалистами первого конкурса. Рассказываем про их проекты, интересы и науку уровня Blue Sky.