Исследователи из Принстонского университета и Adobe создали алгоритм, способный определять объект съемки и в полуавтоматическом режиме убирать визуальные помехи и лишние предметы из кадра. Доклад был представлен на конференции CVPR 2015. Полный текст статьи опубликован на сайте университета.
Для обучения системы авторы работы использовали два набора изображений. Первый набор состоял из тысячи фотографий, на которых люди, работающие в рамках программы Amazon Mechanical Turk, вручную отмечали нежелательные элементы, отвлекающие взгляд от объекта съемки. Второй набор из пяти тысяч изображений исследователи получили из фоторедактора для iPhone Fixel, часть пользователей которого при установке соглашается на использование своих фотографий в исследовательских целях. В случае с первым набором лишние объекты были лучше описаны, в то время как снимки из второго массива изображений были тщательнее обработаны, поскольку пользователи редактировали фотографии для себя.
После обработки данных исследователи смогли выделить 23 типа отвлекающих объектов, самыми частыми из которых оказались другие люди в кадре, машины, провода и световое пятно вспышки. Кроме того, система улучшения изображения в первую очередь обращает внимание на объекты по краям кадра и небольшие объекты контрастного цвета относительно окружающего фона. На тестовом сайте авторы продемонстрировали работу алгоритма: пользователь самостоятельно выбирает количество ненужных объектов в кадре, после чего система затирает их, используя в качестве источника находящиеся рядом пиксели, аналогично инструменту Clone Stamp в фоторедакторах.
Как считают исследователи, затирание посторонних объектов из кадра помогает лучше акцентировать внимание зрителя на основном объекте съемки. При этом, по мнению авторов статьи, большая часть фотографов-любителей не обладает необходимыми навыками для того, чтобы убирать подобные объекты из кадра при помощи фоторедакторов, поэтому подобный метод улучшения фотографий одним кликом будет пользоваться спросом. Однако, отмечают исследователи, система еще не пригодна для публичного использования поскольку время от времени ошибается, удаляя часть главного объекта съемки.
Ранее работу своего алгоритма по очистке фотографий продемонстрировали исследователи из лабораторий Google и MIT, однако их алгоритм предназначен, в первую очередь, для очистки снимка от помех на переднем плане и требует нескольких фотографий одного объекта с небольшим смещением.