Систему распознавания разметки Tesla обманули точками на асфальте

Tencent Keen Security Lab
Система адаптивного круиз-контроля Tesla Autopilot может некорректно распознавать точки на асфальте, принимать их за элементы дорожной разметки и сворачивать, чтобы не пересекать несуществующую линию разметки, в том числе выезжая на встречную полосу, выяснили исследователи в области информационной безопасности из китайской компании Tencent. Кроме того, исследователям удалось активировать стеклоочиститель автомобиля, показав его камере специальные изображения, а также получить удаленный доступ к бортовому компьютеру и управлять поворотом с помощью игрового геймпада, рассказывают исследователи в блоге Tencent Keen Security Lab. Кроме того, авторы опубликовали статью с подробным описанием экспериментов.
На сегодняшний день во многих системах компьютерного зрения применяются нейросетевые алгоритмы, показывающие высокую точность распознавания объектов разных классов. Однако у применения нейросетей для работы с изображениями есть и недостатки, в частности, многие исследователи из этой области обращают внимание на уязвимость нейросетей к состязательным примерам (adversarial examples). Эти примеры представляют собой входные данные, которые специально модифицированы таким образом, чтобы заставить нейросеть некорректно распознать объект на них. Особенность этих данных также заключается в том, что, как правило, для человека они либо практически неотличимы от нормальных данных, либо наоборот — представляют собой хаотичный набор пикселей, в котором человек не распознал бы конкретный образ.
В своем исследовании специалисты выбрали не стандартный подход, при котором алгоритм получает модифицированные данные в цифровом виде, а решили приблизить ситуацию к реальности и создавали состязательные примеры в реальном мире, которые затем автомобиль воспринимал через камеры. Исследователи использовали автомобиль Tesla Model S 75 с аппаратным обеспечением версии Autopilot 2.5 и программным обеспечением версии 2018.6.1. Стоит отметить, что система Autopilot в автомобилях Tesla не является полностью автономной и требует от водителя держать руки на руле и перехватывать управление в сложных ситуациях, поэтому ее принято классифицировать как систему автономного вождения второго уровня автономности по классификации SAE.
Авторы добились трех основных результатов в своей работе. Главный из них — это обман системы распознавания разметки. Исследователи провели два типа экспериментов и смогли как заставить алгоритмы не распознавать существующую линию разметки, так и обнаруживать несуществующую. В первом случае авторы добавляли к настоящей сплошной линии разметки белые пластыри, которые располагались неравномерно. В таком случае, в зависимости от расположения наклеек, автомобиль мог видеть часть полосы или не видеть ее вовсе. При этом исследователи отмечают, что в реальной жизни водитель вряд ли бы не заметил такую необычную разметку.
Авторы отмечают, что Tesla ответила на выводы их исследования. В случае с включением щеток стеклоочистителя компания заявила, что использование монитора прямо перед автомобилем не является реальным сценарием, который может быть применен на практике. Аналогичным образом специалисты компании ответили на обвинения в некорректном распознавании разметки, ответив, что водитель должен быть всегда готов перехватить управление у системы автопилота, воспользовавшись рулем или педалью тормоза.
Ранее владельцы Tesla уже сталкивались с проблемами распознавания разметки системой Autopilot. К примеру, в прошлом году после смертельной аварии с участием Tesla Model X владельцы других автомобилей Tesla воспроизвели некорректную работу системы Autopilot, о которой говорили родственники погибшего. Их эксперименты показали, что в некоторых случаях система может некорректно интерпретировать частично стертую линию разметки и направить автомобиль в барьерное ограждение.
Григорий Копиев