Футбол оцифровали и перенесли в дополненную реальность без мяча
Американские исследователи представили прототип системы, способной создавать динамическую трехмерную модель из записи реального футбольного матча и отображать эту модель в очках дополненной реальности. Правда, система пока отображает только игроков и не показывает мяч. Алгоритм был натренирован на записях из игры FIFA, а его работа проверена на роликах с YouTube, рассказывают авторы в статье, которая будет представлена на конференции CVPR 2018.
Для развивающейся технологии дополненной реальности предлагают множество применений. Например, с ее помощью можно создавать полностью виртуальные объекты, размещенные в реальном мире, а можно отображать модель реального человека и проводить с ним реалистичную видеоконференцию. Кроме того, подобным образом предлагается транслировать события, в том числе и спортивные мероприятия. Одна из главных проблем, стоящих перед этой технологией, заключается в сложности создания объемной модели множества двигающихся объектов, но некоторые разработки в этой области уже есть. К примеру, у Intel есть система, позволяющая в реальном времени создавать модель всех объектов на спортивном мероприятии, но она использует несколько десятков дорогих камер с разрешением 5K, которые необходимо предварительно расставить по стадиону.
Исследователи под руководством Стива Зайца (Steve Seitz) из Вашингтонского университета и Google разработали свою систему, преобразующую записи реальных футбольных матчей в модель, которую можно отображать на столе или другой поверхности через очки дополненной реальности. В основе системы лежит алгоритм, способный создавать карту глубины из одного кадра. Исследователи самостоятельно собрали датасет для обучения алгоритма с помощью футбольного симулятора FIFA. Они перехватывали обращение движка игры к видеокарте и за счет этого получали кадры игры с данными о цвете и глубине, а затем разделяли их на изображения отдельных игроков. В результате авторы получили 12 тысяч пар типа изображение-глубина для тренировки алгоритма.
Разработчики выбрали сверточную нейросеть в качестве алгоритма для создания динамической объемной модели из двумерной видеозаписи футбольного матча. Для каждого кадра алгоритм сначала вычисляет направление камеры, снимающей матч, затем выделяет игроков, создает простую модель их скелета и определяет направление их движения. После этого нейросеть создает для каждого игрока карту глубины, которую затем можно использовать для рендеринга. Разработчики продемонстрировали это на примере приложения для шлема дополненной реальности Microsoft Hololens, который отображает модель футбольного поля с игроками на столе или другой ровной поверхности.
Один из главных недостатков алгоритма заключается в том, что пока он работает только с изображениями игроков, но не отслеживает мяч. Кроме того, пока он довольно требователен к ресурсам — на обработку одного кадра с разрешением 4K у исследователей уходило 15 секунд.
Несмотря на то, что обычно дополненная реальность применяется для развлечений, как в случае с новой работой или AR-версией Super Mario Bros., у нее есть и гораздо более серьезное применение. К примеру, существует несколько разработок, позволяющих врачам видеть 3D-модель органов своих пациентов при планировании операции или прямо во время нее.
Григорий Копиев
Также алгоритм может быть полезен при стихийных бедствиях
Ученые разработали датчик, способный распознавать диарею по звукам дефекации, и представили его на 183-м заседании Акустического общества Америки. Предполагается, что устройство поможет предсказывать вспышки инфекционных заболеваний. Диарея может иметь вполне безобидное происхождение: например, быть побочным эффектом лекарства или реакцией организма на что-то несвежее. Однако нередко диарея сопровождает инфекционные заболевания, многие из которых до сих пор представляют серьезную опасность — например, холеру, уносящую около 150000 жизней в год. С этой точки зрения мониторинг звуков диареи может быть полезен для того, чтобы предсказать вспышку инфекции и остановить ее стремительное распространение. Группа ученых из Технологического института Джорджии под руководством инженера-исследователя Майи Гатлин (Maia Gatlin) разработала прототип устройства для мониторинга диареи. Датчик использует микрофон и алгоритм машинного обучения, работающий на встроенном микропроцессоре и умеющий анализировать звуки, которые издают посетители туалетов. Авторы изделия рассказывают о работе алгоритма в общих чертах, не сообщая об архитектуре нейросети, размере и составе датасета для обучения. Известно, что первоначально исследователи обучили алгоритм на звуках, которые удалось собрать из онлайн-источников. Каждый из этих образцов устройство преобразовывало в спектрограмму. Сперва алгоритм научили распознавать, какие характерные особенности спектрограммы сопровождают те или иные виды выделений. Для обучения использовались различные звуки естественных отправлений человека: как нормальные, вроде мочеиспускания, метеоризма и обычной, здоровой дефекации, так и патологические. Так, для диареи характерны определенные движения кишечника, рыхлые и водянистые, и сопровождаются они определенными звуками. Затем алгоритму дали послушать другие образцы звуков, и он смог распознать тип события с точностью до 98,1 процента. Авторы датчика предполагают, что устройство может быть полезно в различных сферах: например, для отслеживания состояния кишечника у пациентов в хосписах или тех, кто страдает от болезни Крона. Также детектор будет полезен в зонах стихийных бедствий — там, где загрязнение воды приводит к распространению болезнетворных микроорганизмов. Кроме того, не исключено, что в будущем эту технологию можно будет применять в экосистеме умного дома. Исследования того, что происходит в туалете и после него, помогают предсказать вспышки многих инфекционных заболеваний, не только холеры. Подробно о том, какую информацию можно получить, исследуя стоки, N+1 рассказывал в материале «Смытые данные».