Прототип светопольной камеры позволил «разобрать» видео

Программисты из Google собрали из 16 камер GoPro прототип светопольной камеры, а также разработали программное обеспечение, позволяющее раскладывать снимаемую сцену на множество плоскостей и пересобирать ее для получения необычных визуальных эффектов. Например, таким образом можно создавать кадры с новых ракурсов, стабилизировать видео или удалять с него объекты. Статья была представлена на конференции SIGGRAPH 2019.

Обычно фотография формируется исключительно на основе сырых данных с матрицы, а также может включать в себя базовую предварительную обработку, например, цветокоррекцию. Однако в последние годы активное развитие получил подход, называемый вычислительной фотографией, при которой конечный снимок чаще всего формируется на основе нескольких кадров, что позволяет добиться достаточно впечатляющих визуальных эффектов. К примеру, во многих смартфонах появилась функция создания снимков с расширенным динамическим диапазоном, при котором несколько кадров с разной экспозицией объединяются в единый снимок без пересветленных или сильно затемненных областей. Кроме того, некоторые смартфоны умеют объединять несколько кадров для получения более четкого изображения днем или более яркого ночью.

Поскольку многие производители смартфонов начали оснащать их двумя или тремя камерами, на них стало возможным делать кадры одновременно с двух и более ракурсов, что открывает достаточно большие возможности. Например, в прошлом году разработчики из Google и Калифорнийского университета в Беркли научили нейросеть создавать на основе двух таких кадров новые снимки с других ракурсов. В новой работе разработчики из Google, среди которых есть и автор прошлогодней статьи, показали, что этот же принцип можно использовать на практике для удаления объектов и стабилизации видео.

Метод, представленный исследователями в 2018 году, вкратце заключается в том, что нейросеть разбивает единый плоский кадр на множество отдельных плоскостей, выстроенных в соответствии с удалением от камеры. Каждая плоскость содержит данные о находившихся на ней во время съемки объектах — их цвет и прозрачность. Отличие новой работы заключается прежде всего в источнике данных — инженеры собрали прототип, состоящий из 16 камер GoPro, установленных на одной раме. Это позволяет изначально снимать видео с множества параллельных ракурсов и упростить дальнейшую обработку.

После съемки разработчики предложили загружать наборы плоскостей в программу для цифрового композитинга Nuke. В ней новый ролик формируется с помощью виртуальной камеры, которая может перемещаться относительно плоскостей. Это позволяет, к примеру, стабилизировать видео, снятое с рук на ходу, а также увеличивать масштаб, не просто отрезая области кадра по краям, а меняя фокусное расстояние виртуального объектива. Кроме того, разбиение сцены на слои, удаленные от камеры на определенное расстояние, позволяет создавать эффект низкой глубины резкости, при которой все близкие и далекие размыты, а четкими выглядят лишь объекты на определенном расстоянии.

Наконец, авторы показали, как многоплоскостное представление сцены позволяет манипулировать объектами на ней. Монтажер может убрать плоскости, расположенные на определенном расстоянии, и тем самым удалить объект на них. В качестве примера на опубликованном авторами ролика можно видеть, как метод позволил удалить решетку с видео. Также программисты показали, что, используя этот метод, видеомонтажеры могут не работать не только с одним многоплоскостным роликом, но и с несколькими, объединяя их в один. К примеру, таким образом они смогли превратить две статичные съемки, на одной из которых собака бежала по двору, а на второй человек поливал газон, в единый ролик с перемещающейся в пространстве камерой, на котором собака пробегает под струей из шланга.

Недавно мы рассказывали о работе российских разработчиков, в которой они так же научили алгоритм создавать видеоролики, снятые с новых ракурсов, но в основе их метода лежит иной подход. Вместо разбиения сцены на плоскости они предложили создавать из исходного видео объемное облако точек. После этого нейросеть может создать кадр с нового ракурса, рассчитав двумерную проекцию для него и «раскрасив» ее.

Григорий Копиев