Adobe научила алгоритм реалистично удалять объекты на видео

Компания Adobe представила на ежегодной конференции Adobe MAX ряд новых функций для обработки изображений и видео, в частности инструмент Cloak. С его помощью пользователь может выделить на видеозаписи объект, после чего алгоритм автоматически и реалистично удалит его, заменив на фон. Об этом сообщает издание The Verge.

Зачастую при съемке какой-либо достопримечательности на изображении могут остаться и нежелательные детали, например туристы или деревья. Убрать такие объекты можно как самостоятельно в редакторе изображений, так и с помощью специальных программ, которые делают то же самое автоматически.

В случае с видео исходный материал для таких манипуляций представляет собой набор из большого количества кадров, а объект на них может постоянно двигаться относительно фона, из-за чего редактирование становится гораздо более сложной задачей даже для алгоритмов. Существуют программы и плагины к популярным редакторам, позволяющие удалять объекты на видео, но они требуют длительных манипуляций со стороны пользователя, например точного выделения плоскости, в которой расположен фон.

Adobe представила свое решение этой задачи на конференции MAX, посвященной презентациям новых продуктов компании. Функция, разрабатываемая в рамках проекта Cloak, позволяет пользователю выделить объект, после чего алгоритм самостоятельно удалит объект с учетом фона и смежных кадров для качественного редактирования.

Разработчики продемонстрировали функцию на двух примерах: в одном случае алгоритм смог за несколько секунд удалить столб, находящийся в кадре перед Храмом Христа Спасителя в Москве, а во втором случае алгоритму даже удалось удалить движущихся людей, занимавших существенную часть кадра. Стоит отметить, что пока продемонстрированная функция является лишь прототипом для демонстрации технологии. О том, будет ли она использоваться в коммерческих продуктах и когда именно, в компании не сообщают.

Adobe и раньше представляла необычные алгоритмы для обработки фотографий и видео. Например, в 2015 году компания продемонстрировала работу программы, которая на основе видеозаписи с движущимися людьми или другими объектами создает фотографию, лишенную этих объектов. Эта функция позиционировалась компанией для съемки достопримечательностей в людных местах. Также Adobe научила свои графические редакторы автоматически дорисовывать недостающие части на фотографиях, а также редактировать выражение лиц.

Григорий Копиев