Инженеры разработали нейросетевой алгоритм для дронов, позволяющий им летать в сложной обстановке, например, городе, опираясь только на изображение с камеры. Разработчики обучили дрон не вылетать за пределы дороги и избегать столкновений с препятствиями, опираясь на массив записей поездок на автомобилях и велосипедах, сообщается в пресс-релизе Цюрихского университета. Исходный код алгоритма, датасет и натренированная модель доступны на сайте университета.
Практически все дроны используют для навигации сигналы GPS или ГЛОНАСС. Этого достаточно для автоматических полетов на относительно большой высоте, но при полетах в городе сигналов от спутников недостаточно. В таких условиях дрону нужно не только знать свое примерное расположение, но и избегать столкновений со статичными и двигающимися объектами, например, пешеходами или автомобилями. Помимо этого, сигнал спутниковых систем может быть недоступен в помещениях.
Исследователи под руководством Давиде Скарамузза (Davide Scaramuzza) из Цюрихского университета разработали нейросетевой алгоритм DroNet для автономной навигации дронов, использующий только изображения с камеры. Разработчики взяли за основу восьмислойную остаточную сеть ResNet-8 и модифицировали ее. Полученная сеть состоит из восьми слоев и принимает на входе черно-белое (с градациями серого) изображение с разрешением 200 на 200 пикселей. На выходе нейросеть выдает два параметра: угол поворота относительно текущей траектории и вероятность столкновения. Исходя из вероятности столкновения рассчитывается скорость движения.
Для обучения нейросети навыкам передвижения по городским дорогам инженеры использовали общедоступный датасет Udacity, содержащий более 70 тысяч изображений из поездок автомобилей. Помимо этого исследователи создали датасет для расчета вероятности столкновения с объектом (автомобилем, пешеходом или другим) от расстояния до него. Для этого они ездили по городу на велосипеде с закрепленной на руле камерой. После этого исследователи разметили датасет, присвоив кадрам, снятым далеко от объекта, низкую вероятность столкновения (0), а тем, которые были сняты вплотную к объекту — высокую вероятность (1).
После тренировки инженеры протестировали алгоритм на коммерчески доступном квадрокоптере, подключенном к компьютеру через Wi-Fi. Нейросеть на компьютере получала изображение с камеры, анализировала его и возвращала на дрон команды управления. Исследователи показали, что дрон смог без столкновений перемещаться по дорогам, поворачивать на них и избегать столкновений с препятствиями.
Интересно, что изображения из датасетов были сняты на высоте около полутора метров, но дрон смог практически с такой же эффективностью передвигаться и избегать столкновений и при полете на высоте пяти метров. Помимо этого разработчики протестировали работу в условиях, совсем непохожих на данные из тренировочного набора данных. Выяснилось, что дрон может самостоятельно передвигаться в коридорах или больших помещениях и также избегать столкновений с людьми в них.
Исследователи отмечают, что разработанный ими алгоритм избегания столкновений лучше применять в паре с продвинутым планировщиком маршрута. Разработчики предоставили все данные исследований другим исследователям, которые могут воспользоваться наработками в своих проектах. Исходный код DroNet и натренированная модель опубликованы на GitHub, а созданный инженерами датасет и использованные во время испытаний веса для алгоритма доступны на сайте университета.
В прошлом году канадская компания Drone Delivery Canada объявила о разработке похожей системы визуальной навигации для дронов. Технические подробности разработки не раскрывались, но известно, что она предназначается для навигации без GPS во время дальних полетов.
Григорий Копиев
Его чешуя играет роль нагревательного элемента
Инженеры разработали и испытали прототип миниатюрного робота для биомедицинских целей, который управляется внешним магнитным полем и может выступать как нагревательный элемент в медицинских процедурах. Конструкция робота состоит из гибкого полимера с магнитными частицами и верхнего слоя с чешуей из алюминиевых пластин. Робот может адресно доставлять лекарства, останавливать внутренние кровотечения и помогать удалять опухоли. Статья опубликована в журнале Nature Communications. В последние годы активно развивается направление медицины, связанное с разработкой инструментов для малоинвазивной хирургии и адресной доставки лекарств внутри организма. Для этих задач отлично подходят миниатюрные роботы, управление которыми происходит с помощью внешнего магнитного поля. Оно свободно проникает через биологические ткани и позволяет управлять магнитными объектами в теле пациента с высокой точностью. Кроме контроля за положением инструмента в пространстве, магнитное поле может также использоваться и для его дистанционного нагрева, например, чтобы провести процедуры коагуляции крови для остановки внутренних кровотечений или для уничтожения опухолей. Однако, для этого робот должен иметь проводящие металлические элементы в конструкции, которые способны выделять джоулево тепло при воздействии высокочастотного переменного магнитного поля. Прототип такого робота разработали инженеры под руководством Метина Ситти (Metin Sitti) из Института интеллектуальных систем Общества Макса Планка. Робот имеет прямоугольную форму 10 на 20 миллиметров толщиной 0,2 миллиметра. Он состоит из мягкого полимерного слоя из полидиметилсилоксана с включенными в него магнитными частицами и слоя алюминиевой чешуи толщиной 50 микрометров, которая состоит из вырезанных с помощью лазера пластин, закрепленных на полимерном слое таким образом, что каждый следующий элемент частично перекрывает предыдущий. Размещение металлических элементов, по словам авторов, напоминает расположение пластин, которыми покрыто тело панголина. Такая конструкция позволяет сохранить деформируемость, присущую мягким роботам, и одновременно увеличивает размер дистанционно нагреваемой области. Нагрев пластин свыше 70 градусов Цельсия происходит с помощью переменного электромагнитного поля частотой 344 килогерц за время менее 30 секунд. Помимо медицинского назначения, повышение температуры можно использовать для изменения свойств робота. Например, при нагреве свыше температуры Кюри можно перевести магнитные частицы, заключенные в полимерную матрицу в парамагнитное состояние, и, тем самым, отключить робота. Он больше не будет реагировать на управляющее магнитное поле, которое в это время будет воздействовать, например, на второго робота. Также на лету можно изменять профиль намагниченности — распределение направлений векторов намагниченности частиц вдоль полимерной пластины. С помощью этого можно менять характер движений робота. Например, при гармоническом профиле намагниченности робот во внешнем магнитном поле будет изгибаться, сворачиваясь в трубку. Благодаря этому он может захватывать и перемещать внутри себя объекты. Разработчики провели несколько опытов, используя желудок и кишечник свиньи в качестве модельных объектов, чтобы продемонстрировать биомедицинские возможности нового робота. Например, они показали остановку внутреннего кровотечения из открытой раны с помощью коагуляции крови возле нее нагревом. Другая способность робота заключается в доставке нескольких объектов в разные пункты назначения. Для этого пластины металлического слоя, к которым с помощью пчелиного воска с температурой плавления около 62 градусов Цельсия прикрепляют объекты, должны иметь разную толщину. Тогда они будут нагреваться до температуры плавления воска с разной скоростью, позволяя сбрасывать переносимые грузы отдельно в нужных точках. https://www.youtube.com/watch?v=nczejRLuliU Ранее мы рассказывали о разработанной инженерами MIT системе для дистанционного проведения хирургических эндоваскулярных операций. В ней также используется внешнее магнитное поле для управления магнитным хирургическим инструментом внутри кровеносных сосудов.