«Кислотные» стикеры сделали самолеты невидимыми для нейросетей

Исследователи из Нидерландов и Бельгии предложили заменять традиционный камуфляж для самолетов на аэродромах на небольшие относительно самолета тенты с нанесенными на них состязательными примерами — типом изображений, которые выглядят для человека как абстрактный набор фигур разных цветов, но для нейросети похож на объект определенного класса. Статья опубликована на arXiv.org.

У нейросетей есть фундаментальный недостаток, который потенциально можно использовать для умышленной атаки на них. Наиболее часто его наблюдают на примере алгоритмов распознавания и классификации. При работе с обычными изображениями, например, фотографиями животных, нейросеть адекватно распознает объекты на них. Однако для этой конкретной нейросетевой модели изображение с привычными для нее данными, к примеру, фотографию кота, можно немного изменить, после чего для человека она останется неотличимой от оригинала невооруженным взглядом, но для нейросети будет казаться совсем иной, например, фотографией слона. Учитывая, что нейросетевые алгоритмы применяются во все большем количестве областей, в том числе в беспилотных автомобилях, системах распознавания подозреваемых и даже в военной технике, исследователи считают состязательные примеры серьезной угрозой безопасности.

Состязательные примеры можно условно разделить на два основных класса: изображения с попиксельной заменой, годящиеся для атак в цифровом виде, и «стикеры» — небольшие самостоятельные изображения, в которых человек не может распознать никакой конкретный объект. Второй тип интересен тем, что его можно применять и вне цифровых устройств. К примеру, есть эксперименты, в которых авторы «скрывались» от систем распознавания лиц или обнаружения людей с помощью очков или плаката.

В новой работе исследователи под руководством Ажая Адхикари (Ajaya Adhikari) и Ричарда Ден Холландера (Richard den Hollander) из Нидерландской организации по прикладным научным исследованиям предложили использовать состязательные примеры как камуфляж для самолетов и другой военной техники, стоящей на аэродромах или других открытых пространствах.

Исследователи применили известный алгоритм обнаружения объектов YOLOv2 и классический метод подбора состязательного изображения. Сначала алгоритм берет спутниковый снимок самолетов и накладывает на каждый самолет это изображение. Поскольку цель исследования заключалась в разработке реально применимой системы, изображение предварительно случайным образом растягивали, масштабировали, поворачивали, а также добавляли шум и меняли контраст. В результате алгоритм получал снимок с наложенным на самолеты изображением, которое по своему виду было похоже на реальный объект, к примеру, тент, а не вставленный программным образом.

После этого изображение пропускали через нейросеть для распознавания объектов. После этого изображение оптимизируется с помощью функции потерь, которая учитывает три фактора: можно ли реально напечатать определенный цвет или сочетание, насколько уверенно нейросеть распознает объекты любых классов на фотографии и вариативность состязательного изображения (не превращается ли оно в набор шума). Затем цикл повторяется, но уже с оптимизированным изображением. В результате за множество циклов появляется изображение, которое хорошо путает алгоритм распознавания объектов и при этом устойчиво к различным помехам, которые могут появиться при съемке с дрона или спутника.

Исследователи отмечают, что на видеокарте Nvidia GTX 1080Ti на создание каждого изображение уходило 30 часов непрерывных вычислений. Эксперименты на спутниковых снимках показали, что большие изображения (20 процентов от ширины ограничивающей рамки, рисуемой алгоритмом обнаружения объектов) снижают среднюю точность алгоритма обнаружения с 94 процентов до 5,6, а маленькие изображения (10 процентов) до 37,8 процента. Также оказалось, что изображение можно накладывать и на соседнюю часть взлетно-посадочной полосы, а не на сам самолет, но эффективность в таком случае заметно ниже.

Авторы признают, что для полноценной проверки алгоритма необходимо провести эксперимент с настоящим тентом на самолете. Однако по их мнению случайные изменения, которые они вносили в изображения, вполне достаточны для имитации реальных условий. Кроме того, пока они проверяли лишь один алгоритм, тогда как в реальности разные системы обнаружения военной техники могут использовать разные алгоритмы. Но одна из предыдущих работ по состязательным примерам показывает возможность создания изображения, запутывающего разные алгоритмы распознавания.

В конце 2018 года исследователи создали программное обеспечение, позволяющее вносить небольшие изменения в изображения и тестировать алгоритмы на корректную работу. Оказалось, что многие лидирующие нейросети можно обмануть простым поворотом объекта.

Григорий Копиев