Разработчики научились манипулировать предметами на видеозаписи

Американские разработчики научились манипулировать объектами на видеозаписи. В сообщении пресс-службы Массачусетского Технолгического Института (MIT) отмечается, что метод не требует дополнительного оборудования и для имитации движения предметов использует обычные данные видеопотока.
Алгоритм для «правдоподобной манипуляции объектами на видео» был описан Фредом Дюраном (Fredo Durand) и его коллегами в статье, опубликованной журналом Proceedings of ACM: Transactions on Graphics еще в ноябре 2015 г. В ней авторы указывают, что большинство подходов к этой задаче основаны на создании 3D-моделей предметов – задаче сложной и требовательной к ресурсам. В то же время, для вполне правдоподобной имитации движения можно обойтись гораздо более простыми средствами, используя данные самого видеопотока.
Многие предметы в естественных условиях слегка – часто незаметно глазу – вибрируют под действием разных внешних факторов, будь то ветер, сквозняк или тряска проезжающих рядом машин. Следы этих колебаний сохраняются на видеозаписях, и ранее Дюран с коллегами научились их распознавать и «усиливать». Они позволяют выделить объект на фоне и оценить частоту и амплитуду колебаний различных его частей, а затем использовать эти данные для эмуляции движений без предварительного 3D-сканирования и построения 3D-модели.

Демонстрируя возможности алгоритма «

» (Interactive Dynamic Video, IDV), авторы показали, что для его работы достаточно нескольких секунд видеозаписи небольшого и простого объекта (такого, как фигурка человека), либо минут – для предметов посложнее (например, куста).

Фред Дюран и его соавторы уверены, что алгоритмы IDV найдут широкое применение в решении инженерных задач, архитектуре и, конечно, в индустрии развлечений. «В отличие от популярной игры Pokemon Go, где виртуальные герои просто помещаются в реальное окружение, IDV идет на шаг дальше, непосредственно позволяя виртуальным объектам (включая покемонов) взаимодействовать со средой специфическим и реалистическим образом, например, колебля листья соседнего куста», – пишет пресс-служба MIT.

Роман Фишман