Adobe After Effects научили автоматически удалять объекты на видео

Компания Adobe добавила в видеоредактор After Effects функцию, позволяющую автоматически удалять объекты на видео и заменять их на реалистичный фон. Функция доступна подписчикам сервиса Adobe Creative Cloud, сообщает Gizmodo.

Поскольку обычно любительская съемка происходит в неконтролируемых условиях, на кадры могут попасть посторонние люди или нежелательные объекты, заслоняющие основной объект. В случае с фотографиями вырезать объект и заменить его фоном достаточно легко и для этого давно существуют качественные и удобные алгоритмы. Однако при редактировании видеоряда объект необходимо отслеживать на разных кадрах, а накладываемый фон, как правило, приходится подстраивать под изменение ракурса съемки.

Для автоматизированного удаления объектов из видео уже существуют плагины к популярным программам, но они далеко не всегда работают качественно и нередко требуют множества манипуляций перед обработкой видеоряда. В 2017 году разработчики из Adobe продемонстрировали экспериментальную функцию, позволяющую упростить подготовку видео к удалению объектов на нем. Теперь компания доработала ее и внедрила в стабильную версию видеоредактора Adobe After Effects.

Во время работы с функцией пользователю необходимо выделить нежелательные объекты. После этого он может либо сразу нажать кнопку обработки, либо провести несколько дополнительных действий, которые не обязательны, но помогают добиться более реалистичного эффекта. В частности, пользователь может создать отдельные маски для нескольких кадров в разных частях ролика, а также указать пример области изображения, на основе которой программа может создать фон.

После предварительной обработки редактор самостоятельно рассчитывает маски для каждого кадра, на котором присутствует объект, а также создает реалистичный фон. Интересно, что пользователи сервиса Creative Cloud могут отдавать обработку кадров на сервера компании. Adobe показала несколько примеров применения функции, а также результатов ее работы.

Развитие инструментов для реалистичного редактирования изображений и видео подталкивает разработчиков на поиски защиты от таких манипуляций. В прошлом году группа разработчиков из Adobe и Мэрилендского университета в Колледж-Парке научила нейросеть распознавать качественно отредактированные изображения. Алгоритм умеет определять три операции, часто используемых при редактировании снимков: удаление объектов, клонирование участков изображения, а также совмещение изображений с разных снимков.

Григорий Копиев