Систему распознавания разметки Tesla обманули точками на асфальте

Система адаптивного круиз-контроля Tesla Autopilot может некорректно распознавать точки на асфальте, принимать их за элементы дорожной разметки и сворачивать, чтобы не пересекать несуществующую линию разметки, в том числе выезжая на встречную полосу, выяснили исследователи в области информационной безопасности из китайской компании Tencent. Кроме того, исследователям удалось активировать стеклоочиститель автомобиля, показав его камере специальные изображения, а также получить удаленный доступ к бортовому компьютеру и управлять поворотом с помощью игрового геймпада, рассказывают исследователи в блоге Tencent Keen Security Lab. Кроме того, авторы опубликовали статью с подробным описанием экспериментов.

На сегодняшний день во многих системах компьютерного зрения применяются нейросетевые алгоритмы, показывающие высокую точность распознавания объектов разных классов. Однако у применения нейросетей для работы с изображениями есть и недостатки, в частности, многие исследователи из этой области обращают внимание на уязвимость нейросетей к состязательным примерам (adversarial examples). Эти примеры представляют собой входные данные, которые специально модифицированы таким образом, чтобы заставить нейросеть некорректно распознать объект на них. Особенность этих данных также заключается в том, что, как правило, для человека они либо практически неотличимы от нормальных данных, либо наоборот — представляют собой хаотичный набор пикселей, в котором человек не распознал бы конкретный образ.

Угроза состязательных примеров может казаться достаточно малой, тем более, если учитывать, что обычно они работают в ограниченном диапазоне условий. Тем не менее, многие исследователи считают эту угрозу реальной и серьезной, потому что алгоритмы компьютерного зрения применяются во многих сферах, в том числе и ответственных, таких как беспилотный транспорт для перевозки людей. Исследователи из китайской компании Tencent проверили систему автоматизированного вождения Tesla Autopilot на ее уязвимость к состязательным примерам, и обнаружили ее некорректное поведение в некоторых условиях.

В своем исследовании специалисты выбрали не стандартный подход, при котором алгоритм получает модифицированные данные в цифровом виде, а решили приблизить ситуацию к реальности и создавали состязательные примеры в реальном мире, которые затем автомобиль воспринимал через камеры. Исследователи использовали автомобиль Tesla Model S 75 с аппаратным обеспечением версии Autopilot 2.5 и программным обеспечением версии 2018.6.1. Стоит отметить, что система Autopilot в автомобилях Tesla не является полностью автономной и требует от водителя держать руки на руле и перехватывать управление в сложных ситуациях, поэтому ее принято классифицировать как систему автономного вождения второго уровня автономности по классификации SAE.

Авторы добились трех основных результатов в своей работе. Главный из них — это обман системы распознавания разметки. Исследователи провели два типа экспериментов и смогли как заставить алгоритмы не распознавать существующую линию разметки, так и обнаруживать несуществующую. В первом случае авторы добавляли к настоящей сплошной линии разметки белые пластыри, которые располагались неравномерно. В таком случае, в зависимости от расположения наклеек, автомобиль мог видеть часть полосы или не видеть ее вовсе. При этом исследователи отмечают, что в реальной жизни водитель вряд ли бы не заметил такую необычную разметку.

Второй эксперимент показал более опасную уязвимость. В нем исследователи нанесли на асфальт три квадратных наклейки, выстроенные в линию таким образом, что эта виртуальная линия проходит диагонально по текущей полосе движения. Во время эксперимента алгоритм распознавания разметки принял эти квадраты за линию и, проигнорировав левую линию разметки, свернул на встречную полосу движения.

Кроме того, авторы показали, что специальные состязательные изображения, показываемые на мониторе перед автомобилем, могут заставить его включать стеклоочиститель. Такой эффект обусловлен тем, что у Tesla Model S есть функция распознавания дождя по изображению с камеры, и состязательные примеры заставляют алгоритм обнаруживать такую погоду на данных с камеры. Этот эксперимент авторы также повторили в цифровом виде, модифицируя входные данные с камеры без применения внешнего монитора. Наконец, в последнем эксперименте авторы показали, как уязвимость в программном обеспечении Tesla позволяет злоумышленникам получить доступ к управлению углом поворота руля и управлять им с помощью игрового контроллера. Стоит отметить, что эта уязвимость уже устранена в актуальной версии программного обеспечения автомобилей Tesla.

Авторы отмечают, что Tesla ответила на выводы их исследования. В случае с включением щеток стеклоочистителя компания заявила, что использование монитора прямо перед автомобилем не является реальным сценарием, который может быть применен на практике. Аналогичным образом специалисты компании ответили на обвинения в некорректном распознавании разметки, ответив, что водитель должен быть всегда готов перехватить управление у системы автопилота, воспользовавшись рулем или педалью тормоза.

Ранее владельцы Tesla уже сталкивались с проблемами распознавания разметки системой Autopilot. К примеру, в прошлом году после смертельной аварии с участием Tesla Model X владельцы других автомобилей Tesla воспроизвели некорректную работу системы Autopilot, о которой говорили родственники погибшего. Их эксперименты показали, что в некоторых случаях система может некорректно интерпретировать частично стертую линию разметки и направить автомобиль в барьерное ограждение.

Григорий Копиев