Facebook* и Microsoft подвели итоги конкурса по борьбе с дипфейками

Компании Facebook и Microsoft подвели итоги Deepfake Detection Challenge — конкурса для разработчиков, который направлен на создание решений для борьбы с технологиями подмены лиц на видео. Разработчикам удалось добиться точности распознавания свыше 82 процентов на стандартном тестовом датасете и чуть больше 65 процентов — на усложненном датасете: в нем использовались отвлекающие компоненты (например, фильтры или надписи). Подробнее об итогах проекта рассказывается в блоге на сайте Facebook.

Технологии создания дипфейков в последние годы очень быстро развиваются, и вслед за этим появилась необходимость в решениях, которые могут помочь эффективно их распознавать. Помочь в этом решили Facebook и Microsoft: в сентябре прошлого года они анонсировали конкурс для разработчиков Deepfake Detection Challenge, по задумке которого любые сторонние разработчики смогут предложить и создать свою модель, которая сможет определять подмену лиц на видео. Также для разработчиков организаторы пообещали создать датасет, для которого наняли профессиональных актеров: так в нем не будут использоваться пользовательские данные.

Всего в конкурсе приняли участие 2114 разработчиков, которые создали более 35 тысяч моделей. Оценка эффективности алгоритмов проводилась двумя способами: в первом использовался заранее предоставленный разработчикам тестовый датасет, а во втором — закрытый и усложненный (в нем использовались видео с бегущими строками, фильтрами и актерами, которые частично прикрывали лицо). Согласно турнирной таблице на Kaggle, при оценке работы с помощью стандартного тестового датасета победил пользователь под ником Good At Curve Fitting: точность при определении дипфейков с помощью его алгоритма составила 82,56 процента. 

При использовании для проверки закрытого датасета победил белорусский разработчик Селим Сефербеков из компании Mapbox: его алгоритм смог определить дипфейки с точностью 65,18 процента (при стандартной проверке он также занял четвертое место). Все разработчики, занявшие призовые места, использовали в своих алгоритмах предобученную разновидность сверточной нейросети EfficientNet, которую недавно в своем препринте описали разработчики из Google Research.

Согласно странице проекта на Kaggle, разработчики, занявшие первые пять мест в двух турнирных таблицах, получат на всех миллион долларов на дальнейшие разработки. Также организаторы выложили в открытый доступ датасет, который использовался разработчиками для обучения моделей: в нем около 470 гигабайтов видео: больше информации об особенностях датасета можно прочитать в препринте на сайте Facebook.

Пока алгоритмы для определения дипфейков еще далеки от совершенства, правительства различных стран вводят ограничения на их использование: так, осенью Калифорния запретила использовать подмену лиц в предвыборных роликах, а чуть позже Китай пообещал уголовно наказывать за использование дипфейков без надлежащей маркировки. 

*Facebook принадлежит компании Meta, деятельность которой в России запрещена.

Елизавета Ивтушок