Американские исследователи научили нейросеть распознавать фотографии, модифицированные в графических редакторах. В частности, нейросеть умеет распознавать качественно выполненное удаление объектов и клонирование, а также совмещение изображений с разных снимков. Доклад был представлен на конференции CVPR, сообщает The Verge.
С развитием социальных сетей СМИ все чаще стали использовать фотографии и видеоматериалы, снятые рядовыми пользователями, а иногда даже просто «картинки из интернета» неизвестного авторства. При этом такие изображения вполне могут оказаться отредактированными, что не слишком существенно, например, для смешных картинок или при устранении косметических дефектов на портретах, но может оказаться критичным для средств массовой информации — качественно выполненные фейки могут ввести в заблуждение даже специалистов.
Разработчики из Adobe и Мэрилендского университета в Колледж-Парке предложили бороться с фейками с помощью нейросети, которая будет определять три популярных операции, используемые при существенном изменении содержимого на фотографии: удаление объектов, клонирование участков изображения, а также совмещение изображений с разных снимков. Для этого разработчики выбрали быструю региональную сверточную нейросеть (Faster R-CNN).
Основанная на ней программа RGB-N проверяет подлинность изображения одновременно по двум каналам. Анализ RGB-канала позволяет выявить видимые артефакты редактирования, нехарактерный контрасты и другие визуально заметные признаки ретуши, а второй канал позволяет выявить неравномерности в распределении шума в изображении — таким образом алгоритм может разглядеть даже идеально сделанный с точки зрения человека фейк.
Для тренировки RGB-N разработчики использовали свой синтетический датасет, основанный на датасете COCO (он состоит из 328 тысяч изображений, на которых размечено 2,5 миллиона легко распознаваемых даже детьми типов объектов, таких как «машина», «холодильник» и тому подобное). Благодаря аннотациям в COCO разработчики автоматически сгенерировали свой датасет, в котором разные объекты добавлялись на фотографии, а также производилось клонирование или удаление участков картинки. В итоге авторы получили 42 тысячи пар фотографий фейк–оригинал, которые и использовали для тренировки алгоритма как для распознавания видимых в RGB-канале изменений, так и для выявления нарушения в распределении шума.
Дальнейшее тестирование на четырех других датасетах с отредактированными изображением показало, что разработанная в Adobe программа превосходит другие подобные алгоритмы и точность распознавания составляет 80–90 процентов:
Стоит отметить, нейросети умеют не только различать качественные фейки, но и создавать их — например, в NVIDIA научили компьютер превращать зиму в лето на видеозаписи. Подробнее о том, как нейросети уже сегодня могут обмануть людей или вообще использоваться во вред, можно прочитать в нашем материале «Пластмассовый мир победил».
Николай Воронцов