Нейросеть обманули поворотом объектов

airalcorn2 / GitHub
Многие сверточные нейросети для распознавания изображений можно легко обмануть, немного изменив расположение объекта на снимке. Американские исследователи создали программное обеспечение для проверки нейросетей на подобные ошибки, а также показали, что даже одни из лучших нейросетевых алгоритмов корректно распознают одни и те же объекты лишь в трех процентах случаев. Посвященная исследованию статья опубликована на arXiv.org.
На сегодняшний день нейросетевые алгоритмы научились с высокой точностью распознавать объекты разных классов, но в последние годы все большее количество исследователей обращают внимание на характерную проблему многих алгоритмов такого типа — уязвимость к состязательным примерам. Эти примеры представляют собой входные данные, которые специально созданы таким образом, чтобы заставить нейросетевую модель ошибиться и выдать некорректный результат. Особенность таких данных заключается в том, что иногда их отличие от нормальных изображений или других данных незаметно для человека.
В некоторых случаях ошибки нейросетей выглядят курьезно, к примеру, некоторые из них могут принять черепашку за винтовку. Но состязательные примеры так же представляют собой большую опасность из-за того, что нейросетевые алогоритмы получают все большее распространение в сферах с высокой ответственностью. Например, в прошлом году американские исследователи показали, как изменение освещения может заставить алгоритм управления беспилотным автомобилем свернуть в сторону металлического ограждения дороги. Кроме того, существуют исследования, показывающие, что сверточные нейросети для распознавания изображений испытывают проблемы не только со специально подготовленными изображениями, но и с обычными объектами, повернутыми в пространстве.
Ан Нгуен (Anh Nguyen) и его коллеги из Обернского университета и компании Adobe создали программное обеспечение, упрощающее тестирование нейросетевых алгоритмов на подобные ошибки. Программа позволяет моделировать объект с фоном, менять положение объекта, освещение и другие параметры. После определения параметров она создает двумерное изображение сцены и проверяет на нем нейросеть.
Недавно исследователи из Google Brain представили метод, позволяющий применять для выполнения определенной задачи нейросетевой алгоритм, обученный выполнять другую задачу, причем для такого «перепрограммирования» необходимо только правильным образом составить входные данные. В качестве примера авторы показали, как можно с помощью специально созданных входных изображений распознавать рукописные цифры на изображении, используя нейросеть, обученную распознавать животных.
Григорий Копиев