Отражение в глазах выдало в фотографиях людей дипфейки

Американские исследователи предложили новый метод, позволяющий отличить дипфейковое изображение от настоящего. Он основан на сравнении отражений в глазах человека: на реальных фотографиях отражения почти идентичны, а в созданных нейросетью они сильно разнятся между глазами. Статья опубликована на arXiv.org.

В последние несколько лет технологии подмены лиц на фотографиях и создания фотографий несуществующих людей резко продвинулись вперед, и теперь обнаружить такие подделки стало очень сложно как людям, так и алгоритмам. Качество работы алгоритмов для создания дипфейков выросло настолько сильно, что государствам приходится принимать законы, запрещающие их применение, а компаниям — проводить конкурсы по созданию защиты от таких алгоритмов. Во многом быстрое развитие технологий в этой области связано с тем, что оно превратилось в классическое «противостояние щита и меча»: одни исследователи разрабатывают методы обнаружения дипфейков, а другие учитывают их наработки и создают новые алгоритмы, невосприимчивые к этим методам. Все это привело к тому, что сейчас работу лидирующих дипфейк-алгоритмов можно обнаружить лишь по небольшим артефактам на изображениях.

Исследователи из Университета Баффало под руководством Сывея Люя (Siwei Lyu) нашли новый недостаток, по которому можно отличить дипфейк от обычной фотографии — отражения в глазах. Поскольку глаза человека расположены гораздо ближе друг к другу, чем источник света, на реальной фотографии отражения в обоих глазах почти одинаковы за исключением редких случаев, например, если свет от одного из источников света попадает только на один глаз. Однако в алгоритмах для подмены или создания лиц нет физических ограничений, описывающих поведение отражений, поэтому на создаваемых ими изображениях отражения в глазах разнятся гораздо сильнее.

Авторы работы создали алгоритм, который автоматически определяет дипфейки по отражениям, который работает следующим образом. Сначала он обнаруживает на изображении лицо, размечает на нем ключевые точки и на их основании вырезает область, ограниченную радужной оболочкой. Затем алгоритм бинаризирует это изображение, превращая пиксели с яркостью выше пороговой в черные, а остальные — в белые. В результате образуется два изображения (по одному на глаз) с формой отражений, между которыми рассчитывается схожесть по коэффициенту Жаккара.

Исследователи оценили работу алгоритма на двух выборках: реальных лицах из датасета Flickr-Faces-HQ и сгенерированных нейросетью StyleGAN2 с сайта This Person Does Not Exist. На графике коэффициента Жаккара явно видно, что распределения реальных и фейковых фотографий значительно отличаются. Также они построили для этих распределений ROC-кривую и показали, что точность классификации (отнесения фотографии к одному из двух типов) составляет 94 процента.

Несмотря на высокий результат, авторы отметили, что он был достигнут на фотографиях с портретным расположением лица и ярким освещением. Если применить метод к другим фотографиям, особенно к тем, в которых на глазах нет явных отражений, его эффективность будет ниже. Кроме того, их алгоритм сравнивает разницу между отражениями попиксельно, не учитывая форму всего отражения, что давало бы более качественный результат.

Дипфейки обычно связывают с негативными применениями, к примеру, созданием ботов в соцсетях или недостоверных видеозаписей от лица знаменитостей, но их можно использовать и во благо. Например, норвежские разработчики предложили заменять лица людей на дипфейки, чтобы создавать анонимизированные изображения, сохраняющие при этом близкое к оригинальному распределение данных.

Григорий Копиев