Исследователи из MIT и Google научились убирать помехи с фотографий

Группа исследователей из лабораторий Google и MIT создала алгоритм, позволяющий убирать с фотографий различные препятствия, загораживающие объект съемки или ухудшающие его видимость. Результаты работы были представлены на конференции SIGGRAPH 2015, текст доклада опубликован [PDF] на сайте Массачусетского технологического института.

Для обработки необходимо несколько снимков с небольшим смещением относительно объекта съемки. Алгоритм определяет границы контрастных объектов, после чего сравнивает перемещение движущихся границ объектов относительно друг друга и отделяет объекты на переднем плане – обычно именно они являются препятствием – от объектов на фоне. После этого программа из серии изначальных снимков комбинирует два «очищенных» результата, один для фона, один для переднего плана. В качестве примера в демонстрационном ролике показаны несколько снимков, с которых убрана сетка Рабица и отражения в стеклах.

Ранее исследователи из MIT уже публиковали исследование, посвященное фильтрации фотографий от отражения при фотосъемке через окно с двойным стеклом – алгоритм определял в кадре «задвоившееся» изображение и убирал его с фотографии. Благодаря совместной работе с Google, разработчикам удалось улучшить алгоритм для применения не только к отражениям, но и потенциально к любым помехам на переднем плане.