Алгоритм Facebook* изменил лица на видео для обмана систем распознавания

Исследователи из Facebook AI Research создали алгоритм, который автоматически меняет лицо человека на видео таким образом, что его невозможно распознать. Система, основанная на состязательном автоэнкодере и классификаторе лиц, меняет в видео основные черты лица человека, оставляя его мимику и освещение. Получившиеся видео выглядят натурально, а лицо на видео не могут опознать ни системы распознавания лиц, ни реальные люди. Описание работы алгоритма доступно в препринте на сайте исследовательского подразделения Facebook.

Автоматическое распознавание лиц сейчас работает достаточно эффективно и сильно облегчает жизнь человека во многих сферах: например, при идентификации пассажиров в аэропортах или при пользовании смартфоном. При этом, разумеется, растет беспокойство по поводу того, что использование технологий распознавания лиц в целом может нарушить приватность пользователей: если в свободном доступе находятся хотя бы несколько фотографий человека, то подобные системы могут — даже без ведома самих людей — их распознать. 

Одно из решений подобной проблемы — обман систем распознавания: для этого используется модификация пикселей в кадре, а также состязательные примеры, которые отвлекают внимание компьютерного зрения на себя и заставляют алгоритмы видеть на изображениях не то, что на них на самом деле изображено. 

Если говорить конкретно о распознавании людей, то еще один вариант — подмена лиц на фото и видео. Она, однако, не всегда работает идеально, а часто людям не хочется оказываться полностью неузнаваемыми или менять свою идентичность на другого человека. Исследователи из Facebook AI Research под руководством Орана Гафни (Oran Gafni) предложили решить эту проблему другим способом — менять лица людей на видео таким образом, что идентифицировать человека будет невозможно. 

В основе их алгоритма — состязательный автоэнкодер (схожий метод используется в работе генеративно-состязательных нейросетей), в латентном пространстве которого используется классификатор лиц на основе ResNet-50 с несколькими параметрами. Сначала алгоритм меняет лицо человека на видео с учетом освещения изображения и формы лица — получается предварительное изображение лица, которое будет использовано в итоге. Потом на это лицо накладывается маска, снятая с лица на изначальном видео, и итоговое лицо формируется с помощью декодера. Для обучения алгоритма использовали датасет CelebA-HQ, содержащий видео со знаменитостями.

Таким образом алгоритм меняет основные черты лица человека на видео (например, форму носа, брови или глаза), а все остальные (например, освещение и мимика, а также речь) остается неизменным: такая подмена может обмануть автоматические системы распознавания, но образ человека остается схожим с оригиналом. По сути, алгоритм качество заменяет лицо человека на видео на лицо несуществующего человека. 

Для того, чтобы проверить работу алгоритма, ученые показали получившиеся видео алгоритму автоматического распознания лиц ArcFace, который может распознать более 50 тысяч человек. С оригинальными видео система справлялась эффективно, а в обработанных не смогла распознать конкретного человека — в зависимости от качества полученного видео ArcFace предлагала на выбор более трех тысяч вариантов лиц, которые могут быть показаны на видео. 

Также оказалось, что определить человека на видео не могут люди: 20 человек, которых просили опознать лицо на получившихся видео, правильно выполняли задание только в 53,6 процента случаев, что очень близко к случайному попаданию. Интересно, что алгоритм не нужно предобучать для конкретных видео: менять с его помощью можно любые лица любых людей. 

Проблемой нарушения приватности, которую несет использование технологий распознавания лиц, озабочены даже правительства различных стран. Например, в мае этого года следить за гражданами с помощью таких технологий запретили власти Сан-Франциско.

*Facebook принадлежит компании Meta, деятельность которой в России запрещена.

Елизавета Ивтушок