Тепловое зрение HADAR рассмотрит текстуру предметов даже ночью
А также измерит расстояние до них
Американские ученые разработали технологию пассивного теплового зрения HADAR, которая по инфракрасному изображению получает информацию о температуре, материалах и текстуре поверхности объектов, их излучательной способности, а также умеет измерять расстояние. Технология позволяет в ночных условиях получать изображение, сопоставимое по качеству со стереоскопическими изображениями, получаемыми обычными RGB камерами при дневном освещении. Статья опубликована в журнале Nature.
При поддержке Angie — первого российского веб-сервера
Для автономной навигации и взаимодействия с людьми роботам и беспилотникам нужна информация об окружении, которую они получают с помощью камер, лидаров, сонаров или радаров. Однако обычные камеры зависят от условий освещенности и плохо работают в ночное время и при плохой погоде. Кроме этого информация, получаемая с камер не содержит физического контекста, что может приводить к некорректной работе нейросетевых алгоритмов автопилота, который, к примеру, не может отличить настоящего человека от манекена. Активные сенсоры, такие как лидары и радары, при резком росте их числа начинают взаимно влиять друг на друга.
Выходом могло бы стать использование в условиях недостаточной видимости камер, работающих в инфракрасном диапазоне. Однако из-за так называемого «эффекта призрачности» получаемые тепловизором изображения обычно выглядят как пятна без четкой текстуры. Это связано с тем, что поверх отражающихся от объекта инфракрасных лучей, которые несут информацию об особенностях его рельефа, накладывается его собственное тепловое излучение, которое засвечивает эту полезную информацию.
Группа ученых под руководством Зубин Джакоб (Zubin Jacob) из Университета Пердью смогла справиться с этой проблемой. Они разработали технологию под названием HADAR (акроним от слов heat-assisted detection and ranging), которая с помощью машинного обучения извлекает из изображений, полученных в инфракрасном диапазоне, информацию о температуре объектов, излучательной способности материалов, из которых они состоят, а также их физической текстуре. Кроме того, технология позволяет определять расстояние до объектов на изображении.
Выделение информации о собственном излучении объектов позволяет избавиться от «эффекта призрачности» и получить информацию о текстуре. Для этого авторы используют данные из библиотеки материалов, которая содержит информацию об их излучательной способности. Инфракрасное изображение фиксируется с помощью гиперспектральной камеры, после чего данные поступают на вход нейросетевой модели, которая производит декомпозицию исходных данных, выделяя из них информацию о температуре, собственном излучении и текстуре. Для обучения алгоритма исследователи использовали как настоящие изображения, полученные с помощью камеры, так и множество сгенерированных трехмерных сцен.
Возможности технологии демонстрирует одна из сцен, на которой при слабом освещении запечатлен автомобиль черного цвета и человек, рядом с которым установлен вырезанный из картона портрет Альберта Эйнштейна в натуральную величину. Изображения, полученные с помощью обычной камеры, лидара и HADAR затем использовали для определения объектов с помощью алгоритма распознавания изображений. На изображении, полученном с помощью обычной камеры, алгоритм ошибочно распознал двух людей, приняв картонную фигуру за человека. На данных, полученных лидаром, оказалось невозможно определить автомобиль. При этом HADAR смог выделить все составляющие сцены, а также определить, что одна из человеческих фигур имеет сигнатуру краски на поверхности, а вторая покрыта тканью.
Созданная технология может значительно улучшить системы автономной навигации беспилотных транспортных средств и роботов, дополнив уже существующие системы или даже заменив их. HADAR позволяет определять объекты и измерять расстояние по данным, полученным в ночное время, так же хорошо, как это делают традиционные системы компьютерного зрения, которые используют данные с камер в условиях дневного освещения. По словам авторов работы, в дальнейшем им предстоит решить проблему высокой стоимости оборудования для гиперспектральной съемки и невысокой производительности алгоритма. Сейчас процесс получения изображений и их обработки занимает минуты, но для работы в режиме реального времени это время необходимо сократить.
Ранее мы рассказывали, как физики создали лидар, способный распознать метровые детали с рекордного расстояния в 45 километров в условиях высокого шума и слабого сигнала.
Он будет вмещать пять пассажиров и передвигаться как гироскутер
Компания Inventist представила рендеры и видео концепта двухколесного электромобиля Shane, колеса которого расположены по бокам кузова. Предполагается, что принцип движения автомобиля будет аналогичен гироскутерам. Он будет самостоятельно балансировать, удерживая горизонтальное положение корпуса, а движение вперед или назад будет происходить при смещении центра тяжести кузова в соответствующем направлении. Поворачивать Shane будет за счет разницы в скоростях вращения левого и правого колес, что позволит ему разворачиваться на одном месте, сообщает New Atlas. При поддержке высокопроизводительного и масштабируемого российского веб-сервера Angie Широко распространенные гироскутеры и сигвеи обычно представляют собой платформу с расположенными по бокам двумя колесами с индивидуальными электромоторами. Встроенные сенсоры непрерывно контролируют угол наклона устройства. Когда стоящий на платформе человек смещает центр тяжести, наклоняя платформу, то система управления увеличивает скорость вращения колес в этом направлении, чтобы сохранить баланс и предотвратить падение. Таким образом удается удерживать вертикальное положение ездока, а также управлять движением транспортного средства. До сих пор подобного рода устройства выполнялись в виде небольших индивидуальных транспортных средств, наподобие самокатов или велосипедов, и использовались в основном для развлечения и передвижения по тротуарам в городе. Однако основатель компании Inventist изобретатель Шейн Чен (Shane Chen), разработавший ранее такие устройства как гироскутер Hovertrax и моноколесо Solowheel, предложил использовать принципы движения гироскутеров для создания полноценного транспортного средства для перевозки нескольких пассажиров. Представленный концепт двухколесного автомобиля Shane будет иметь вмещающий до пяти пассажиров обтекаемый корпус с расположенными по бокам двумя большими колесами. Еще один небольшой электродвигатель будет отвечать за изменение положения центра тяжести авто за счет сдвига всего кузова вперед и назад относительно оси колес. С его помощью будет происходить самобалансировка для удержания кузова в горизонтальном положении, а также управление движением, аналогично тому, как это происходит на гироскутерах. К примеру, для начала движения кузов автомобиля будет выдвигаться вперед или назад, после чего электромоторы в попытке удержать баланс начнут вращать колеса в этом направлении. По мнению разработчиков, наличие только двух колес исключит необходимость в сложной системе управления направлением движения и сделает автомобиль очень маневренным. Повороты будут происходить только за счет разницы в скоростях вращения левого и правого колес и благодаря этому автомобиль сможет разворачиваться буквально на одном месте. О других характеристиках говорить пока слишком рано — на данный момент Shane существует лишь в виде нескольких рендеров и видео. Сейчас компания ищет возможных партнеров, которые могли бы заинтересоваться дальнейшей разработкой концепта. https://www.youtube.com/watch?v=jjpcy9JqGEs На мотоциклах за удержанием баланса обычно приходится следить водителю, однако некоторые компании экспериментируют над системами, которые могли бы взять это ответственную задачу на себя. Так, например, Honda представила в 2021 году прототип мотоцикла, который способен балансировать самостоятельно с помощью системы автоматического наклона заднего колеса.
