Нейросеть спутала черепашку с винтовкой

Программа для создания трехмерных объектов научилась обманывать сверточные нейросети. С ее помощью можно изготавливать модели предметов, которые система искусственного интеллекта не сможет распознать правильно. Так, создателям программы удалось обмануть классификатор компании Google, который принял напечатанную на 3D-принтере черепаху за винтовку. Статья доступна на сервере препринтов ArXiv.org.

С широким распространением нейросетей возрастает риск атаки на них. Одна из возможных угроз — враждебные образцы (adversarial examples: дословный перевод — «соперничающие примеры», но устоявшегося русского термина пока нет). Это могут быть изображения, которые выглядят вполне обычно для человека, но ошибочно интерпретируются компьютером. Небольшие изменения, вносимые в картинку, вызывают у нейросети «ошибку восприятия», в результате чего она делает ложные выводы об объектах, которые ей демонстрируют. Так, в одном из экспериментов исследователи заставили классификатор думать, что вместо кошки он видит гуакамоле.

Однако раньше считалось, что обмануть нейросеть в условиях повседневной жизни будет непросто. Чаще всего в качестве враждебных образцов использовались двухмерные фотографии, в то время как в реальности алгоритм обычно имеет возможность рассмотреть опознаваемый предмет с разных сторон. Тем не менее, авторы новой статьи создали программу, которая умеет обманывать классификатор, даже когда тот видит трехмерный объект. Более того, если «закамуфлированный» объект поместить на характерный фон, — например, это может быть рыба на фоне воды, — нейросеть все равно ошибется.

Программисты разработали алгоритм Expectation Over Transformation (EOT), предназначенный для создания враждебных образцов на основе существующих изображений. С его помощью они сгенерировали текстуры, которые потом были наложены на трехмерные модели разных объектов, включая черепаху и бейсбольный мячик. Затем исследователи распечатали их на 3D-принтере и продемонстрировали классификатору Google’s InceptionV3.

В результате исследователи заставили нейросеть думать, что она видит винтовку, в то время как ей показывали черепаху. Бейсбольный мячик она приняла за чашку эспрессо, и если текстура мячика действительно была похожа на молочную пенку, то черепаха не имела с оружием ничего общего. Разработчики отмечают, что даже характерный фон, например морское дно или голубое небо, не помогли алгоритму. Предметы с оригинальной окраской нейросеть распознавала со средней точностью около 84 процентов, в то время как враждебные образцы классификатор угадывал только в 1,7 процента случаев.

Сейчас подобные «обманки» не представляют серьезной угрозы для людей, несмотря на внедрение систем распознавания лиц в повседневную жизнь. Однако работа программистов показывает, насколько уязвимы могут быть современные алгоритмы.

Для того чтобы ввести систему искусственного интеллекта в заблуждение, не всегда обязательно создавать сложный камуфляж. Например, можно использовать картонные очки со специальным узором.

Кристина Уласович