Отражение в глазах выдало в фотографиях людей дипфейки

Shu Hu et al. / arXiv.org, 2020
Американские исследователи предложили новый метод, позволяющий отличить дипфейковое изображение от настоящего. Он основан на сравнении отражений в глазах человека: на реальных фотографиях отражения почти идентичны, а в созданных нейросетью они сильно разнятся между глазами. Статья опубликована на arXiv.org.
В последние несколько лет технологии подмены лиц на фотографиях и создания фотографий несуществующих людей резко продвинулись вперед, и теперь обнаружить такие подделки стало очень сложно как людям, так и алгоритмам. Качество работы алгоритмов для создания дипфейков выросло настолько сильно, что государствам приходится принимать законы, запрещающие их применение, а компаниям — проводить конкурсы по созданию защиты от таких алгоритмов. Во многом быстрое развитие технологий в этой области связано с тем, что оно превратилось в классическое «противостояние щита и меча»: одни исследователи разрабатывают методы обнаружения дипфейков, а другие учитывают их наработки и создают новые алгоритмы, невосприимчивые к этим методам. Все это привело к тому, что сейчас работу лидирующих дипфейк-алгоритмов можно обнаружить лишь по небольшим артефактам на изображениях.
Исследователи из Университета Баффало под руководством Сывея Люя (Siwei Lyu) нашли новый недостаток, по которому можно отличить дипфейк от обычной фотографии — отражения в глазах. Поскольку глаза человека расположены гораздо ближе друг к другу, чем источник света, на реальной фотографии отражения в обоих глазах почти одинаковы за исключением редких случаев, например, если свет от одного из источников света попадает только на один глаз. Однако в алгоритмах для подмены или создания лиц нет физических ограничений, описывающих поведение отражений, поэтому на создаваемых ими изображениях отражения в глазах разнятся гораздо сильнее.
Авторы работы создали алгоритм, который автоматически определяет дипфейки по отражениям, который работает следующим образом. Сначала он обнаруживает на изображении лицо, размечает на нем ключевые точки и на их основании вырезает область, ограниченную радужной оболочкой. Затем алгоритм бинаризирует это изображение, превращая пиксели с яркостью выше пороговой в черные, а остальные — в белые. В результате образуется два изображения (по одному на глаз) с формой отражений, между которыми рассчитывается схожесть по коэффициенту Жаккара.
Дипфейки обычно связывают с негативными применениями, к примеру, созданием ботов в соцсетях или недостоверных видеозаписей от лица знаменитостей, но их можно использовать и во благо. Например, норвежские разработчики предложили заменять лица людей на дипфейки, чтобы создавать анонимизированные изображения, сохраняющие при этом близкое к оригинальному распределение данных.
Григорий Копиев