Сканирующий затвор и лазер заставили беспилотный автомобиль перепутать цвет светофора

Китайские и американские исследователи научились обманывать беспилотные автомобили с помощью лазера. Они показали, что при использовании камеры со сканирующим затвором свет от лазера заставляет алгоритмы определения сигнала светофора принимать неправильное решение, определяя зеленый сигнал вместо красного и наоборот. Статья будет представлена на конференции USENIX 2022, ее препринт опубликован на arXiv.org.

В беспилотных автомобилях, как правило, используются разные типы датчиков, частично дублирующие друг друга. Так, другую машину на дороге могут заметить лидар, радар и камера. Но для некоторых задач такого резервирования нет. К примеру, дорожные знаки и светофоры можно распознать только с помощью камер. При этом камеры и алгоритмы компьютерного зрения — самые чувствительные к ошибкам и обманам системы. Прежде всего это касается восприятия объема, поскольку камеры снимают двумерные кадры. Также исследователи уже не раз показывали, как системы компьютерного зрения беспилотных или высокоавтоматизированных автомобилей, таких как Tesla, сравнительно легко обмануть визуальными метками или ложной разметкой на дороге.

Сяоюй Цзи (Xiaoyu Ji) из Чжэцзянского университета вместе с коллегами показал, как реально применяемые в беспилотных и высокоавтоматизированных автомобилях камеры и алгоритмы можно обмануть лазером, заставив их принять один сигнал светофора за другой. Метод применим ко КМОП-матрицам, потому что в них, как правило, используется сканирующий затвор — схема, при которой данные с пикселей собираются не одновременно, а последовательно. Это приводит к тому, что если объект перед камерой быстро двигается, его изображение становится смещенным: по мере движения вниз по кадру он все больше смещается в сторону:

Исследователи предложили использовать эту особенность матриц для того, чтобы создавать на кадрах с камеры автомобиля яркую полосу определенного цвета: красного или зеленого. Если светить камеру постоянным лазерным излучением, такого эффекта не получится и свет от лазера будет заполнять большую часть изображения, что может не дать сработать алгоритму обнаружения светофора. Но если светить лазерными импульсами, частота которых синхронизирована с частотой съемки камеры, она будет успевать запечатлевать лишь горизонтальную полосу, ширина которой будет зависеть от длительности импульсов.

Эксперименты с пятью камерами, в том числе применяемой в Tesla моделью, а также двумя алгоритмами обнаружения и определения сигнала светофора (Apollo Auto и Nexar), показало, что если полоса имеет не слишком большую ширину и яркость, и при этом накладывается на светофор, программное обеспечение с высокой вероятностью путает настоящий цвет с цветом лазера: для камеры Tesla (onsemi AR0132AT) она оказалась равной 30 процентов для «превращения» красного сигнала в зеленый и 86,25 процента для «превращения» зеленого в красный.

При этом авторы отмечают, что если подобрать частоту может быть легко, например, использовать стандартные 30 или 60 герц, то синхронизировать положение этой полосы, чтобы она накладывалась на светофор, невозможно — она будет накладываться в случайное место по вертикали. В качестве метода защиты от их атаки, авторы предложили поменять алгоритм работы матриц, считывая ряды пикселей в случайном порядке или оставлять его последовательным, но начинать сканирование со случайного ряда для каждого нового кадра.

В последние годы активно разрабатываются V2X-светофоры, которые сообщают автомобилям поблизости свой текущий статус и другие данные. В 2018 году мы рассказывали о тестировании в США перекрестка, который может предупредить автомобили о пешеходах и других машинах за не просматриваемым углом.

Григорий Копиев