Алгоритм исправит поврежденные фотографии

Создан новый алгоритм для исправления поврежденных цифровых изображениям — программа корректирует резкость изображения, убирает шум, а также выполняет ряд других задач. Авторы представили разработку на 31-й конференции по нейронным системам обработки информации

В последние годы нейросети все чаще используются для работы с изображениями. Благодаря своей способности к обучению, они способны качественно редактировать и улучшать снимки. Одна из популярных сфер применения систем искусственного интеллекта — улучшение некачественных снимков. Сегодня существует много программ, которые повышают разрешение и воссоздают детали загружаемых фотографий, однако их работа по-прежнему несовершенна.

Новый алгоритм был придуман исследователями из Бернского университета под руководством Маттиаса Цвикера (Matthias Zwicker). Программисты предложили использовать байесовкую систему глубокого обучения для восстановления резкости размытого изображения при устранении шута, увеличения разрешения и демозаики — технологии цветовой интерполяции.

Создатели алгоритма обучили его на большом наборе фотографий высокого качества. В результате алгоритм научился предсказывать, как должно выглядеть исходное изображение, на основе данных о текстуре, цвете, свете и границах в тренировочном массиве данных. Таким образом, алгоритм может определять и устранять отклонения от идеальных параметров на загруженных снимках.

По словам разработчиков, система хорошо справляется с простыми недостатками, например, размытыми краями объектов. Воссоздавать сложные элементы, например, текстуры или мелкие детали вроде волос, алгоритм пока не умеет.

«Чтобы распознавать черты высокого уровня, алгоритму нужен контекст. Например, если на снимке показано лицо, то вероятнее всего, что пиксели сверху — это волосы. Это похоже на решение головоломки. Если вы смотрите только на одну часть изображения, очень трудно понять без контекста, к чему она относится. Однако как только вы определите, где находится этот кусок, сразу станет понятно, что представляют собой пиксели», — комментирует Цвикер.

Системы искусственного интеллекта используются не только для улучшения фотографий, но и для реалистичной деформации объектов на них, а также переноса стилей (например, превращения снимков в картины известных художников и наоборот). Кроме того, нейросети умеют создавать на основе фотографий короткое видео, показывающее как будут развиваться события в ближайшие мгновения.

Кристина Уласович