Российские инженеры научили дрон распознавать жесты пользователя и летать по соответствующей траектории с включенными светодиодами. Это позволяет рисовать в воздухе фигуры, которые можно снимать на большой выдержке. Разработка была представлена на конференции RO-MAN 2020, статья о ней опубликована на arXiv.org.
Дроны применяют не только для серьезных воздушных задач, но и для развлечений, в том числе световых представлений. Во время них дроны синхронно поднимаются в воздух и перемещаются, создавая в воздухе огромные фигуры из отдельных светящихся точек. Недавно в России был установлен мировой рекорд среди таких представлений, тогда в дрон-шоу участвовало 2198 беспилотников. Такие шоу достаточно трудно организовывать, потому что необходимо синхронизировать сотни и даже тысячи аппаратов и добиться очень высокой точности их полета. Есть и более простой способ добиться с помощью дрона красивых эффектов в небе: провести его с включенным светодиодом по траектории, визуально похожей на буквы или какой-либо предмет. Но вырисовывать такие траектории сложно, как вручную с пульта, так и даже с помощью программ с полетом дрона по точкам.
Инженеры из Сколтеха под руководством Дмитрия Тетерюкова (Dzmitry Tsetserukou) упростили эту задачу, создав умную перчатку и программное обеспечение, позволяющие дрону распознавать жесты человека и повторять их в воздухе. На перчатке установлена плата Arduino Uno, датчик сжатия кисти, акселерометр и передатчик сигнала. Датчик сжатия кисти нужен для того, чтобы жесты считывались только когда пользователь этого хочет, а не просто размахивает рукой. Когда ладонь сжата, перчатка передает данные с акселерометра на компьютер для определения жеста.
Инженеры обучили алгоритм распознавать пять жестов, соответствующих буквам S, K, O, L и J. Для каждой буквы они записали 25 попыток, каждая из которых записана в виде ускорений по трем осям в 30 точках траектории. Имея эти данные и получая новые, алгоритм случайного леса со ста деревьями и глубиной 3 относит полученный жест к одному из известных ему и передает команду на компьютер, который уже дает дрону конкретные команды для полета по траектории, и беспилотник позволяет создавать светографические изображения.
В начале года CollMot и Phase 7 показали новый вид светового дрон-шоу, который позволяет создавать в воздухе непрерывные полупрозрачные структуры. В отличие от обычного метода со светодиодами на дронах, в новом методе дроны распыляют под собой дым, а изображение на него выводится проектором с земли.
Григорий Копиев