NVIDIA сделала для беспилотных автомобилей специальный компьютер Xavier
NVIDIA в рамках международной выставки электроники CES 2017 представила специализированный компьютер Xavier, предназначенный для машинного обучения и управления беспилотными автомобилями. Также представители компании продемонстрировали передвижение беспилотного автомобиля под управлением Xavier, сообщает Engadget.
С развитием технологий беспилотных автомобилей в последние несколько лет возникла высокая потребность в специализированном оборудовании, которое отвечает за обработку данных и непосредственно управляет автомобилем, поэтому некоторые производители, в том числе NVIDIA, разрабатывают специализированные аппаратные платформы. Концепция системы на кристалле под названием Xavier была анонсирована еще осенью 2016 года, но о реальных возможностях платформы представители NVIDIA рассказали только сейчас, на CES 2017.
Система на кристалле состоит из семи миллиардов транзисторов, содержит 512 ядер CUDA Volta и восьмиядерный процессор собственной разработки. Производительность Xavier производитель измеряет особыми единицами TOPS DL (триллионов операций глубокого обучения в секунду) и она составляет 30 TOPS DL — для сравнения, у предыдущего поколения специализированных компьютеров NVIDIA Drive PX 2 заявленная производительность составляла «всего» 20 DL TOPS.
Кроме презентации Xavier представители NVIDIA также продемонстрировали компьютер в работе — беспилотный прототип BB8, построенный на базе Lincoln и управляемый новым компьютером проехал почти по всему маршруту, в том числе проехав участок по скоростному шоссе. Ранее этот прототип уже демонстрировал умение ездить по грунтовым дорогам, передвигаться по дорогам с отсутствующей разметкой, проходить крутые и слепые повороты, а также объезжать препятствия на проезжей части.
Xavier — не первый специализированный компьютер от NVIDIA, позиционируемый как платформа для беспилотных автомобилей. На CES 2016 компания представила Drive PX 2, который обладает вычислительной мощностью в восемь терафлопсов и способен обрабатывать поток данных с 12 камер, лидара, радаров и других датчиков. Сообщалось, что Drive PX 2 использовался в автомобилях беспилотных гонок Roborace в рамках сезона 2016-17 Формулы Е.
Ранее американская компания Movidius, специализирующаяся на разработках программного и аппаратного обеспечения в области машинного обучения, представила «нейросетевую флешку» — портативный вычислительный модуль для нейросетей с интерфейсом подключения через стандартный USB-порт.
А также измерит расстояние до них
Американские ученые разработали технологию пассивного теплового зрения HADAR, которая по инфракрасному изображению получает информацию о температуре, материалах и текстуре поверхности объектов, их излучательной способности, а также умеет измерять расстояние. Технология позволяет в ночных условиях получать изображение, сопоставимое по качеству со стереоскопическими изображениями, получаемыми обычными RGB камерами при дневном освещении. Статья опубликована в журнале Nature. Для автономной навигации и взаимодействия с людьми роботам и беспилотникам нужна информация об окружении, которую они получают с помощью камер, лидаров, сонаров или радаров. Однако обычные камеры зависят от условий освещенности и плохо работают в ночное время и при плохой погоде. Кроме этого информация, получаемая с камер не содержит физического контекста, что может приводить к некорректной работе нейросетевых алгоритмов автопилота, который, к примеру, не может отличить настоящего человека от манекена. Активные сенсоры, такие как лидары и радары, при резком росте их числа начинают взаимно влиять друг на друга. Выходом могло бы стать использование в условиях недостаточной видимости камер, работающих в инфракрасном диапазоне. Однако из-за так называемого «эффекта призрачности» получаемые тепловизором изображения обычно выглядят как пятна без четкой текстуры. Это связано с тем, что поверх отражающихся от объекта инфракрасных лучей, которые несут информацию об особенностях его рельефа, накладывается его собственное тепловое излучение, которое засвечивает эту полезную информацию. Группа ученых под руководством Зубин Джакоб (Zubin Jacob) из Университета Пердью смогла справиться с этой проблемой. Они разработали технологию под названием HADAR (акроним от слов heat-assisted detection and ranging), которая с помощью машинного обучения извлекает из изображений, полученных в инфракрасном диапазоне, информацию о температуре объектов, излучательной способности материалов, из которых они состоят, а также их физической текстуре. Кроме того, технология позволяет определять расстояние до объектов на изображении. Выделение информации о собственном излучении объектов позволяет избавиться от «эффекта призрачности» и получить информацию о текстуре. Для этого авторы используют данные из библиотеки материалов, которая содержит информацию об их излучательной способности. Инфракрасное изображение фиксируется с помощью гиперспектральной камеры, после чего данные поступают на вход нейросетевой модели, которая производит декомпозицию исходных данных, выделяя из них информацию о температуре, собственном излучении и текстуре. Для обучения алгоритма исследователи использовали как настоящие изображения, полученные с помощью камеры, так и множество сгенерированных трехмерных сцен. Возможности технологии демонстрирует одна из сцен, на которой при слабом освещении запечатлен автомобиль черного цвета и человек, рядом с которым установлен вырезанный из картона портрет Альберта Эйнштейна в натуральную величину. Изображения, полученные с помощью обычной камеры, лидара и HADAR затем использовали для определения объектов с помощью алгоритма распознавания изображений. На изображении, полученном с помощью обычной камеры, алгоритм ошибочно распознал двух людей, приняв картонную фигуру за человека. На данных, полученных лидаром, оказалось невозможно определить автомобиль. При этом HADAR смог выделить все составляющие сцены, а также определить, что одна из человеческих фигур имеет сигнатуру краски на поверхности, а вторая покрыта тканью. Созданная технология может значительно улучшить системы автономной навигации беспилотных транспортных средств и роботов, дополнив уже существующие системы или даже заменив их. HADAR позволяет определять объекты и измерять расстояние по данным, полученным в ночное время, так же хорошо, как это делают традиционные системы компьютерного зрения, которые используют данные с камер в условиях дневного освещения. По словам авторов работы, в дальнейшем им предстоит решить проблему высокой стоимости оборудования для гиперспектральной съемки и невысокой производительности алгоритма. Сейчас процесс получения изображений и их обработки занимает минуты, но для работы в режиме реального времени это время необходимо сократить. Ранее мы рассказывали, как физики создали лидар, способный распознать метровые детали с рекордного расстояния в 45 километров в условиях высокого шума и слабого сигнала.