Технологию подмены лиц на видео перенесли в браузер

Пользователь Reddit под ником sinofis создал сайт MachineTube, позволяющий подменять лицо на видео или в изображениях. Пока в сервисе доступно несколько натренированных нейросетевых моделей для знаменитостей, например, Дональда Трампа и Спока из сериала «Звездный путь». Пользователю не нужно устанавливать на компьютер специальную программу, но за счет использования браузерной библиотеки для машинного обучения сервис проводит вычисления с помощью вычислительных мощностей компьютера пользователя. На разработку обратил внимание блог prosthetic knowledge.

Нейросетевые алгоритмы, позволяющие создавать реалистичные ролики с измененными лицами или мимикой людей существуют давно и в последнее они достигли такого уровня, что могут учитывать множество параметров мимики, а созданные ими видео настолько реалистичны, что людям сложно отличить их от реальных роликов. Тем не менее, наибольший общественный интерес вызвала далеко не самая совершенная технология подмены лица на видео, использованная в других целях по сравнению с предыдущими исследовательскими проектами.

В конце 2017 года пользователь Reddit под ником deepfakes опубликовал несколько порнографических роликов, на которых лица настоящих актрис были заменены лицами знаменитостей, например, Тейлор Свифт и Эммы Уотсон. Через небольшое время после этого автор также опубликовал не только результат работы алгоритмов, но и программу, позволяющую тренировать нейросетевые модели и создавать ролики с замененными лицами самостоятельно. К весне 2018 года ролики стали настолько массовыми, что крупные платформы, такие как Reddit и Twitter, запретили контент такого типа.

Теперь пользователь Reddit sinofis создал сайт MachineTube, позволяющий подменять лица на видео и изображениях без установки дополнительных программ. В нем используется библиотека Tensorflow.js, позволяющей обучать и запускать нейросетевые модели прямо в браузере с использованием вычислительных мощностей компьютера пользователя. Разработчик использовал в качестве алгоритмов для распознавания и переноса лиц несколько проектов с открытым кодом, опубликованных на GitHub. Пока в сервисе используются несколько натренированных нейросетевых моделей для переноса лица между знаменитостями, к примеру, между Канье Уэстом и Бараком Обамой.

Пользователю необходимо выбрать имеющийся на сайте ролик или фотографию или загрузить свой, а затем выбрать параметры переноса. После этого сервис загружает на компьютер пользователя все необходимые ему данные и проводит обработку. Разработчик отмечает, что на создание десятисекундного ролика в среднем уходит около десяти минут. Пока десять секунд — это максимальная длина ролика, а максимальное разрешение составляет 480p (пикселей по вертикали). В будущем автор планирует оптимизировать алгоритмы и ослабить эти ограничения, а также загружать новые натренированные модели для переноса лиц.

Поскольку технологии подмены лиц вызывают опасения у многих людей, исследователи совершенствуют алгоритмы обнаружения такой подмены. Недавно европейские ученые создали алгоритм для эффективного выявления подмены мимики или самих лиц на видеороликах, причем даже сжатых.

Григорий Копиев