Технологию подмены лиц на видео перенесли в браузер

Seranus / YouTube

Пользователь Reddit под ником sinofis создал сайт MachineTube, позволяющий подменять лицо на видео или в изображениях. Пока в сервисе доступно несколько натренированных нейросетевых моделей для знаменитостей, например, Дональда Трампа и Спока из сериала «Звездный путь». Пользователю не нужно устанавливать на компьютер специальную программу, но за счет использования браузерной библиотеки для машинного обучения сервис проводит вычисления с помощью вычислительных мощностей компьютера пользователя. На разработку обратил внимание блог prosthetic knowledge.

Нейросетевые алгоритмы, позволяющие создавать реалистичные ролики с измененными лицами или мимикой людей существуют давно и в последнее они достигли такого уровня, что могут учитывать множество параметров мимики, а созданные ими видео настолько реалистичны, что людям сложно отличить их от реальных роликов. Тем не менее, наибольший общественный интерес вызвала далеко не самая совершенная технология подмены лица на видео, использованная в других целях по сравнению с предыдущими исследовательскими проектами.

В конце 2017 года пользователь Reddit под ником deepfakes опубликовал несколько порнографических роликов, на которых лица настоящих актрис были заменены лицами знаменитостей, например, Тейлор Свифт и Эммы Уотсон. Через небольшое время после этого автор также опубликовал не только результат работы алгоритмов, но и программу, позволяющую тренировать нейросетевые модели и создавать ролики с замененными лицами самостоятельно. К весне 2018 года ролики стали настолько массовыми, что крупные платформы, такие как Reddit и Twitter, запретили контент такого типа.

Теперь пользователь Reddit sinofis создал сайт MachineTube, позволяющий подменять лица на видео и изображениях без установки дополнительных программ. В нем используется библиотека Tensorflow.js, позволяющей обучать и запускать нейросетевые модели прямо в браузере с использованием вычислительных мощностей компьютера пользователя. Разработчик использовал в качестве алгоритмов для распознавания и переноса лиц несколько проектов с открытым кодом, опубликованных на GitHub. Пока в сервисе используются несколько натренированных нейросетевых моделей для переноса лица между знаменитостями, к примеру, между Канье Уэстом и Бараком Обамой.


Пользователю необходимо выбрать имеющийся на сайте ролик или фотографию или загрузить свой, а затем выбрать параметры переноса. После этого сервис загружает на компьютер пользователя все необходимые ему данные и проводит обработку. Разработчик отмечает, что на создание десятисекундного ролика в среднем уходит около десяти минут. Пока десять секунд — это максимальная длина ролика, а максимальное разрешение составляет 480p (пикселей по вертикали). В будущем автор планирует оптимизировать алгоритмы и ослабить эти ограничения, а также загружать новые натренированные модели для переноса лиц.

Поскольку технологии подмены лиц вызывают опасения у многих людей, исследователи совершенствуют алгоритмы обнаружения такой подмены. Недавно европейские ученые создали алгоритм для эффективного выявления подмены мимики или самих лиц на видеороликах, причем даже сжатых.

Григорий Копиев

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.