Нейросеть обманом «перепрограммировали» на распознавание совсем других объектов

Исследователи из Google Brain создали метод, позволяющий применять для выполнения определенной задачи нейросетевой алгоритм, обученный выполнять другую задачу, используя для такого «перепрограммирования» только входные данные. К примеру, авторы показали, как можно с помощью специально созданных входных изображений распознавать рукописные цифры на изображении, используя нейросеть, обученную распознавать животных. Статья с описанием метода опубликована на arXiv.org.

Алгоритмы машинного обучения имеют архитектурный недостаток, делающий их уязвимыми к состязательным примерам. Эти примеры представляют собой входные данные, которые специально созданы таким образом, чтобы заставить нейросетевую модель ошибиться и выдать некорректный результат. К примеру, в случае с алгоритмами распознавания и классификации объектов на фотографиях исходное изображение и состязательный пример могут быть неотличимы друг от друга для человека, но нейросетевой алгоритм распознает на них совершенно разные объекты.

Некоторые методы позволяют создавать состязательные примеры, цель которых заключается только в том, чтобы заставить алгоритм выдать некорректный результат, а более совершенные атаки позволяют получать от алгоритма конкретный результат. Пока эти атаки работают в ограниченных условиях и далеко не всегда эффективны, однако в будущем их развитие может представлять собой большую опасность. К примеру, таким способом потенциально можно обманывать системы компьютерного зрения беспилотных автомобилей и заставлять их некорректно распознавать дорожные знаки. Из-за этого исследователи активно изучают как методы защиты от состязательных примеров, так и новые способы атак для того, чтобы впоследствии найти защиту и от них.

Группа разработчиков из Google Brain под руководством Яши Сол-Дикштейна (Jascha Sohl-Dickstein) разработала новый вид атаки с использованием состязательных примеров, позволяющий использовать алгоритмы, обученные для классификации одних объектов, в качестве классификаторов других типов объектов, используя для такого «перепрограммирования» только входные данные. Стоит отметить, что предложенная исследователями атака подразумевает, что злоумышленник получил доступ к параметрам алгоритма-жертвы. Входные данные в этом методе состоят из двух частей: непосредственно данных для анализа и данных, заставляющих алгоритм выполнять требуемую задачу. К примеру, это может быть небольшое изображение с цифрой, встроенное в гораздо большее изображение, представляющее собой «программу» для выполнения нужной задачи.

Атакуемый алгоритм выполняет определенную функцию классификации для определенного типа входящих данных. Задача заключается в том, чтобы алгоритм выполнял другую функцию классификации в ответ на другой класс входящих данных. Для этого изображение-программа подбирается для конкретной нейросетевой модели таким образом, чтобы она осуществляла перенос входящих данных и функций между двумя задачами.

Для проверки концепции исследователи выбрали шесть сверточных нейросетевых моделей, используемых для классификации изображений животных из известного датасета ImageNet. При этом принцип работы метода относительно универсален и может быть использован и для других моделей. Авторы выбрали для эксперимента три популярные задачи в области машинного обучения: распознавание рукописных цифр из датасета MNIST, распознавание фотографий из датасета CIFAR-10 и распознавание количества квадратов на изображении. Для каждой из шести моделей и задачи подбиралось такое изображение-программа, чтобы она представляла десять классов животных из исходного датасета ImageNet в качестве соответствующих десяти классов из других датасетов. К примеру, для задачи распознавания количества квадратов каждому из десяти изображений с квадратами было сопоставлено десять классов животных.

Авторы называют изображение программой, потому что для одной модели необходимо лишь одно изображение-состязательный пример, в центр которого вставляется одно из десяти изображений из нового датасета. Тестирование показало, что «перепрограммированные» нейросетевые модели хорошо справляются с классификацией изображений с квадратами и цифр, но намного хуже с классификацией фотографий из CIFAR-10.

Исследователи считают, что в будущем метод было бы интересно проверить на моделях для классификации других типов данных, например, звуковых записей или текста. Кроме того, авторы считают особо потенциально перспективным применение метода к рекуррентным нейросетям, потому что они могут быть полными по Тьюрингу, то есть применимыми для любых вычислительных функций. Исследователи считают, что потенциально метод можно использовать для бесплатного использования в своих целях мощностей сервисов, изначально выполняющих другие задачи.

Один из авторов работы Айан Гудфеллоу (Ian Goodfellow) известен как один из разработчиков концепции генеративно-состязательных нейросетей, которая была описана в 2014 году и с тех пор была использована во многих проектах, использующих машинное обучение для обработки и создания изображений. Например, с помощью такой архитектуры исследователи научили нейросети создавать изображения по текстовому описанию и рисовать оригинальные произведения искусства, превращать фотографию в короткое видео с событиями из будущего, и генерировать фотореалистичные портреты людей.

Григорий Копиев