Смартфоны научили «редактировать реальность»

Американские ученые разработали технологию пассивного теплового зрения HADAR, которая по инфракрасному изображению получает информацию о температуре, материалах и текстуре поверхности объектов, их излучательной способности, а также умеет измерять расстояние. Технология позволяет в ночных условиях получать изображение, сопоставимое по качеству со стереоскопическими изображениями, получаемыми обычными RGB камерами при дневном освещении. Статья опубликована в журнале Nature. Для автономной навигации и взаимодействия с людьми роботам и беспилотникам нужна информация об окружении, которую они получают с помощью камер, лидаров, сонаров или радаров. Однако обычные камеры зависят от условий освещенности и плохо работают в ночное время и при плохой погоде. Кроме этого информация, получаемая с камер не содержит физического контекста, что может приводить к некорректной работе нейросетевых алгоритмов автопилота, который, к примеру, не может отличить настоящего человека от манекена. Активные сенсоры, такие как лидары и радары, при резком росте их числа начинают взаимно влиять друг на друга. Выходом могло бы стать использование в условиях недостаточной видимости камер, работающих в инфракрасном диапазоне. Однако из-за так называемого «эффекта призрачности» получаемые тепловизором изображения обычно выглядят как пятна без четкой текстуры. Это связано с тем, что поверх отражающихся от объекта инфракрасных лучей, которые несут информацию об особенностях его рельефа, накладывается его собственное тепловое излучение, которое засвечивает эту полезную информацию. Группа ученых под руководством Зубин Джакоб (Zubin Jacob) из Университета Пердью смогла справиться с этой проблемой. Они разработали технологию под названием HADAR (акроним от слов heat-assisted detection and ranging), которая с помощью машинного обучения извлекает из изображений, полученных в инфракрасном диапазоне, информацию о температуре объектов, излучательной способности материалов, из которых они состоят, а также их физической текстуре. Кроме того, технология позволяет определять расстояние до объектов на изображении. Выделение информации о собственном излучении объектов позволяет избавиться от «эффекта призрачности» и получить информацию о текстуре. Для этого авторы используют данные из библиотеки материалов, которая содержит информацию об их излучательной способности. Инфракрасное изображение фиксируется с помощью гиперспектральной камеры, после чего данные поступают на вход нейросетевой модели, которая производит декомпозицию исходных данных, выделяя из них информацию о температуре, собственном излучении и текстуре. Для обучения алгоритма исследователи использовали как настоящие изображения, полученные с помощью камеры, так и множество сгенерированных трехмерных сцен. Возможности технологии демонстрирует одна из сцен, на которой при слабом освещении запечатлен автомобиль черного цвета и человек, рядом с которым установлен вырезанный из картона портрет Альберта Эйнштейна в натуральную величину. Изображения, полученные с помощью обычной камеры, лидара и HADAR затем использовали для определения объектов с помощью алгоритма распознавания изображений. На изображении, полученном с помощью обычной камеры, алгоритм ошибочно распознал двух людей, приняв картонную фигуру за человека. На данных, полученных лидаром, оказалось невозможно определить автомобиль. При этом HADAR смог выделить все составляющие сцены, а также определить, что одна из человеческих фигур имеет сигнатуру краски на поверхности, а вторая покрыта тканью. Созданная технология может значительно улучшить системы автономной навигации беспилотных транспортных средств и роботов, дополнив уже существующие системы или даже заменив их. HADAR позволяет определять объекты и измерять расстояние по данным, полученным в ночное время, так же хорошо, как это делают традиционные системы компьютерного зрения, которые используют данные с камер в условиях дневного освещения. По словам авторов работы, в дальнейшем им предстоит решить проблему высокой стоимости оборудования для гиперспектральной съемки и невысокой производительности алгоритма. Сейчас процесс получения изображений и их обработки занимает минуты, но для работы в режиме реального времени это время необходимо сократить. Ранее мы рассказывали, как физики создали лидар, способный распознать метровые детали с рекордного расстояния в 45 километров в условиях высокого шума и слабого сигнала.