Беспилотник распознал автомобиль за углом по его тени
Американские инженеры создали систему, позволяющую обнаруживать приближающиеся объекты из-за угла по их тени или другому изменению освещения. Разработчики протестировали эту систему на беспилотном автомобиле, который смог затормозить перед тем, как другой автомобиль выехал из-за стены и пересек путь. Статья будет представлена на конференции IROS 2019, а кратко о ней рассказывает MIT News.
В области беспилотных автомобилей превалирует концепция, согласно которой в них должен применяться набор датчиков, работающих на разных принципах: лидары, радары и камеры. Это позволяет использовать особенности восприятия каждого типа и комбинировать их преимущества для надежного отслеживания объектов, а также дублирования систем.
Однако все эти датчики используются только для фиксации объектов, находящихся в прямой видимости, тогда как люди используют и косвенные признаки, позволяющие предположить, что вне поля их зрения находится объект. Например, водитель может догадаться, что из-за здания может выехать автомобиль, увидев свет от его фар или наоборот тень в светлое время суток, а также услышать шум двигателя и шин.
Исследователи из Массачусетского технологического института и Исследовательского института Toyota под руководством Даниэлы Рус (Daniela Rus) предложили дополнять непосредственные наблюдения за объектами догадками, сделанными на основе таких косвенных признаков. Пока статья с описанием системы и экспериментов не опубликована, но некоторые выводы можно сделать по статье о более ранней версии алгоритма.
Алгоритм получает видео с камеры, создает на его основе объемную модель окружающей среды в кадре и проецирует на нее кадры. После этого система самостоятельно выбирает зону интереса, например, угол стены. Затем по мере приближения стене алгоритм отслеживает именно эту зону и анализирует ее. Для анализа на изображениях усиливается насыщенность, что позволяет усилить разницу между тенью и освещенной областью пола. Затем алгоритм определяет, двигается ли тень, и на основе этого может вынести решение об остановке.
В новой работе инженеры протестировали систему не на роботе, а на беспилотном автомобиле. На опубликованном ролике можно видеть, что автомобиль заранее увидел приближение другого автомобиля по изменению освещенности пола. Разработчики отмечают, что алгоритмы обнаружили двигающееся препятствие по изменениям освещения на 0,72 секунды раньше, чем по данным с лидара.
Для отслеживания препятствий за углом существуют и другие подходы. К примеру, в прошлом году Honda показала работу прототипа умного перекрестка в США. Он оснащен камерами, распознающими приближающиеся к перекрестку автомобили, а также антеннами, передающими данные о них другим автомобилям неподалеку. Благодаря этому водители заранее получают данные о том, что скоро из-за угла появится другой автомобиль или пешеход.
Григорий Копиев
Он показал лучшее время на трассе, обойдя соперников на полсекунды
Инженеры разработали автопилот для гоночного дрона, управляющий беспилотником на уровне лучших людей-пилотов. Алгоритм под названием Swift, полученный с помощью метода обучения с подкреплением, способен управлять гоночным квадрокоптером, полагаясь только на данные бортовых сенсоров. В реальных полетах на тестовой трассе для дрон-рейсинга Swift смог превзойти трех профессиональных пилотов-чемпионов, выиграв у них 15 гонок из 25 и пройдя трассу с минимальным временем, которое на полсекунды меньше лучшего результата пилота-человека. Статья опубликована в журнале Nature. При поддержке Angie — первого российского веб-сервера Дрон-рейсинг — вид спорта, в котором мультикоптеры на высокой скорости проходят трассу, состоящую из последовательности ворот, через которые нужно пролететь за минимально возможное время. При этом управление происходит от первого лица, с помощью камеры и видеоочков. Современные дроны обладают очень высокой маневренностью и подвижностью: они могут резко менять направление движения, ускоряться, замедляться и совершать перевороты, а во время гонки они разгоняются до скоростей свыше 100 километров в час и подвержены перегрузкам, превышающим их собственный вес в пять раз. Это делает их пилотирование непростой задачей и требует хорошей подготовки и высокой скорости реакции оператора. Инженеры давно работают над созданием автопилота, который мог бы управлять дроном на уровне профессиональных пилотов. Помимо участия в дрон-рейсинге такая способность может пригодиться и в обычной жизни — мультикоптеры обладают невысокой энергоэффективностью, поэтому способность быстро летать и успешно маневрировать в окружении большого числа препятствий напрямую связана с успешностью выполнения задач. Инженеры под руководством Давида Скарамузза (Davide Scaramuzza) из Цюрихского университета уже имеют опыт разработки эффективных алгоритмов управления для дронов. К примеру, ранее они создали автопилот, способный управлять квадрокоптером на скорости от 3 до 7 метров в секунду в лесу между деревьев, полагаясь только на данные с бортовых сенсоров. В своей новой работе инженеры представили алгоритм под названием Swift. Он способен эффективно управлять гоночным квадрокоптером на уровне профессионального пилота дрон-рейсинга. Swift состоит из двух основных модулей: системы восприятия, которая переводит изображение от бортовой камеры дрона и данные от инерционного измерительного блока IMU в низкоразмерное представление, а также системы управления, которая принимает на вход низкоразмерное представление, созданное системой восприятия, и генерирует управляющие команды для электромоторов дрона. В модуль системы восприятия также входит алгоритм, вычисляющий текущее положение дрона в пространстве на основе данных камеры и инерционно-измерительного блока. Эта информация через фильтр Калмана объединяется с данными об относительном положении гоночных ворот, обнаруженных предварительно обученным нейросетевым детектором объектов в видеопотоке, после чего передается на вход системы управления, которая состоит из двух скрытых слоев, по 128 нейронов в каждом. Система управления тренировалась в симуляции с использованием модельно-свободного глубокого обучения с подкреплением. Этот метод обучения использует метод проб и ошибок, чтобы максимизировать величину параметра вознаграждения. В данном случае вознаграждение было максимальным в случае, если дрон следовал в сторону центра ближайших ворот таким образом, чтобы следующие ворота оставались в поле зрения камеры. Чтобы учесть различия между симуляцией и реальной динамикой полета, в процессе обучения информацию симулятора дополнили данными из реального мира, записанными с помощью системы захвата движений. Оценку автопилота провели на трассе для дрон-рейсинга, состоящей из семи ворот, установленных на квадратной площадке с длиной стороны 30 метров. Длина маршрута через все ворота составляла 75 метров. Алгоритм соревновался с тремя профессиональными пилотами Алексом Вановером (Alex Vanover), Томасом Битматтой (Thomas Bitmatta) и Марвином Шэппером (Marvin Schaepper). Все участники использовали гоночные дроны с одинаковыми характеристиками. Перед испытательными соревнованиями у пилотов была неделя для знакомства с трассой. В соревнованиях каждый из пилотов стартовал одновременно с дроном под управлением автопилота. Победителем становился тот, кто быстрее пролетит через все ворота на трассе в правильном порядке три раза. По результатам Swift смог выиграть у своих соперников в совокупности 15 гонок из 25, а также установил рекорд трассы, пролетев ее быстрее на полсекунды, чем остальные участники. https://www.youtube.com/watch?v=fBiataDpGIo&t=1s Инженеры разрабатывают гоночные автопилоты и для автомобилей. Например, инженеры из подразделения искусственного интеллекта компании Sony создали алгоритм автопилота GT Sophy, который с помощью обучения с подкреплением научился проходить за минимальное время трассы в гоночном автосимуляторе Gran Turismo Sport. В настоящих киберспортивных соревнованиях GT Sophy не только показала лучшее время в одиночных заездах, но и смогла победить команду лучших игроков в совместных гонках, набрав больше всего очков.