Специалисты Microsoft создали технологию, которая позволяет с высокой точностью захватывать движения трехмерных объектов и в режиме реального времени визуализировать их. О ней рассказывает статья, опубликованная в журнале ACM Transactions on Graphics.
Технология Fusion 4D использует восемь RGB-D-камер (камеры глубины) для того, чтобы следить за движениями объекта. После этого изображения пропускаются через алгоритм, который сначала анализирует движения предмета на нескольких кадрах, для того, чтобы понять его поведение. Затем алгоритм объединяет карты глубины и маски слоя и получает трехмерный объект, на который накладываются цветное изображение, выполняющее роль текстуры.
Одно из преимуществ разработанной технологии заключается в том, что к движущемуся объекту не надо прикреплять никаких датчиков, которые обычно используются для захвата движений. Кроме того, исследователи также говорят о том, что для захвата различного типа движений не требуется никаких специальных предварительных настроек и обучения.
На видео выше видно, что программа может визуализировать как быстрые так и медленные движения, а также различные взаимодействия между несколькими предметами. Например, ей удается воспроизвести то, как человек играет с собакой или снимает куртку, хотя иногда при этом возникают артефакты.
Ученые планируют развить технологию и говорят о том, что с ее помощью в будущем может стать возможным полный трехмерный просмотр различных событий, вроде концерта, а также предлагают совмещать ее с устройствами виртуальной реальности для того, чтобы, например, создать виртуального аватара.
Однако к созданию VR-аватаров компании подходят по-разному. Например, Google решила отказаться от копирования реальных образов и показала трехмерного аватара для виртуальной реальности в виде головы с глазами, поворачивающимися из стороны в сторону. По мнению авторов идеи, виртуальные глаза показывают пользователю, в какую сторону ему нужно смотреть и говорить и позволяют аватару выглядеть «по-человечески».