Программисты из Массачусетского технологического университета представили новый способ обмана систем классификации изображений, основанных на работе нейросетей. Алгоритм, подробно описанный в препринте, опубликованном на arXiv.org, справляется даже с системами распознавания с закрытым исходным кодом.
Основной угрозой для алгоритмов компьютерного зрения, выполняющих задачи распознавания и классификации изображений, являются состязательные примеры (англ. adversarial examples) — слегка измененные исходные данные, которые выглядят точно так же для человека, но могут неправильно интерпретироваться компьютером. Обычно такие данные (в данном случае — изображения) генерируются при помощи известной информации об алгоритме классификации, представленной в так называемом «белом ящике». Если же алгоритм классификации закрыт (то есть в «черном ящике»), задача усложняется: создание «состязательных примеров» основывается только на входных (самом изображении) и выходных (результате классификации) данных. По такой системе работают, например, Google Cloud Vision API и алгоритмы распознавания и классификации изображений Facebook.
Несмотря на сложность поставленной задачи, исследователям из MIT под руководством Джесси Линь (Jessy Lin) удалось создать алгоритм, генерирующий состязательные примеры для обхода закрытых систем классификации. Система основана на алгоритме оптимизации и работает достаточно просто: попиксельно меняет исходное изображение, при этом оставляя его классификацию. Например, изображение автоматической винтовки можно превратить в изображение вертолета — при этом классификатор так же будет распознавать его как оружие.
Исследователям удалось сгенерировать состязательные примеры и обмануть с их помощью классификаторы, натренированные на изображениях из двух баз данных: CIFAR-10 и ImageNet. В первом случае созданный алгоритм показал эффективность в 99,6 процента, а во втором — 99,2 процента. Затем исследователи проверили эффективность алгоритма в обмане системы распознавания Google Cloud Vision API: состязательный пример, созданный на основе изображения лыжников, система Google классифицировала как собаку с точностью в 91 процент.
Авторам, таким образом, удалось показать очередную уязвимость самых совершенных и широко применяемых на сегодняшний день алгоритмов компьютерного зрения . Полученные результаты, тем не менее, можно применить и для улучшения классификаторов
Разработчики тестируют алгоритмы распознавания «на прочность» совершенно разными способами: например, с помощью создания трехмерных моделей или очков с цветастым узором.
Елизавета Ивтушок