Бинокулярный радар помог беспилотному автомобилю четко видеть сквозь туман

Инженеры создали радарную систему для беспилотных автомобилей, которая позволяет надежно определять положение и ориентацию других машин на дороге даже в условиях нулевой видимости — в туман, пыль и дождь. Это достигается за счет использования двух разнесенных радаров, их данные объединяются алгоритма, который отфильтровывает шумы, после чего другой алгоритм, основанный на методах машинного обучения, определяет точные габариты автомобилей. Статья опубликована в сборнике материалов конференции SenSys ’20: Proceedings of the 18th Conference on Embedded Networked Sensor Systems.

Современные беспилотные автомобили следят за дорогой с помощью видеокамер, лидаров и радаров. Лидар позволяет точно определять расстояние до объектов или даже строить точные рельефные карты пространства, но дымка, туман и пыль создают существенные помехи, поскольку эффективная работа сенсора напрямую зависит от прозрачности окружающей среды. Кроме лидара от плохой погоды также страдают и камеры.

Радару туман не помеха, но информация с него позволяет построить изображение лишь приблизительно, оно отображает только нечеткие силуэты, состоящие из небольшого набора точек. Дело в том, что радиоволны распространяются не как свет, который отражается от поверхности во все стороны: в случае падения под острым углом сигнал отразится в сторону от источника, и назад почти ничего не вернется — поэтому, например, радар увидит переднюю часть встречной машины, но не увидит боковую, который зафиксируют камеры и лидары. Кроме того, из-за использования миллиметровых волн (существенно длиннее лазера) радиоизображение обладает низким разрешением. Поэтому с помощью простого радара сложно построить рамку (упрощенная 3D-модель в виде прямоугольного параллелепипеда, описанного вокруг машины), которую алгоритмы автопилота обрабатывают как объект на дороге.

Кшниц Бансаль (Kshitiz Bansal) из Калифорнийского университета в Сан-диего и его коллеги разработали систему Pointillism, которая позволяет строить точное радарное изображение окружающих автомобилей. Основной принцип Pointillism — использование нескольких разнесенных радаров, которые облучают цель под разными углами, что серьезно увеличивает шанс на возвращение сигнала назад. На экспериментальной платформе исследователи расположили два приемопередатчика (слева и справа) на расстоянии 1,7 метра. Такая конфигурация была выбрана на основе компьютерной симуляции, которая показала, что после увеличения дистанции выше 1,5 метров наблюдается скачкообразный рост точности, а введение дополнительных радаров наоборот почти ее не увеличивает.

Однако данные радаров недостаточно просто сложить. В чистом виде их данные представляют собой набор опорных точек отраженного сигнала, по которым затем предстоит построить компьютерную модель автомобиля. Но помимо точек от реальных объектов приемник фиксирует множество шумов, например от многократно отраженного эха, и потому суммирование данных просуммирует и шумы. Чтобы избавиться от них ученые разработали алгоритм перекрестного анализа данных. Если оба радара фиксируют опорные точки близко друг от друга, то скорее всего, это реальный объект. И напротив — шумы разных радаров, как правило, независимы друг от друга, и исходя из этого точки без близких соседей от второго радара можно отфильтровывать.

После фильтрации шума система строит рамку. Для того чтобы алгоритм был максимально точен инженеры решили прибегнуть к машинному обучению: сопоставлять радарное изображение и уже построенные рамки на основе данных камер и лидаров. Поскольку в открытом доступе подходящей базы данных для обучения нет, ученые создали ее самостоятельно, проезжая по реальным дорогам, и собрали так 54 тысячи пар радарных картинок и рамок. После тренировки Pointillism смог обнаруживать автомобили и определять их ориентацию при любых углах, даже при нулевой видимости из-за погодных условий. Скорость работы системы зависит от вычислительной мощности, и при использовании процессора NVIDIA GTX 1080 Ti она составила 50 кадров в секунду, что, по мнению авторов, достаточно для езды на разрешенной на дорогах скорости.

Между тем, не все разработчики считают, что видеокамеры нуждаются в дополнениях. Например, беспилотник компании Mobileye ездит по городу без лидаров и радаров. Но даже если это решение окажется выгодным, радарам найдется много других новых применений. Так, Apple предложила использовать их в телефонах для замены сенсорного экрана.

Василий Зайцев