Нейросеть восстановила фазовое изображение из полной темноты

Американские разработчики научили нейросеть восстанавливать распределение фазы света из кадров, на которых на каждый пиксель матрицы попадает в среднем всего один-два фотона. Авторы успешно протестировали алгоритм на изображениях микросхем и обычных фотографиях произвольных объектов. Алгоритм может помочь исследовании прозрачных и полупрозрачных объектов в условиях недостаточного облучения, рассказали авторы статьи в Physical Review Letters в интервью MIT News.

Большая часть фототехники использует матрицы, которые регистрируют интенсивность попадающего на них света. Однако помимо интенсивности свет от объектов также содержит в себе информацию о фазе, не регистрируемую обычными камерами. Для большей части применений данных об амплитуде достаточно, однако для некоторых также важны данные о фазе, к примеру, при исследовании прозрачных и полупрозрачных объектов. При прохождении света через такой объект он выходит из объекта с некоторым отставанием по сравнению со светом от того же источника, проходящим через воздух или вакуум, в результате чего между ними возникает сдвиг фаз.

Это свойство используется в некоторых видах микроскопии, рентгенографии и других методах создания изображений, что позволяет повышать контраст между объектами с почти одинаковой прозрачностью. Зачастую такие методы используются в биологических и медицинских исследованиях с живыми объектами, чувствительными к излучению. К примеру, при облучении ионизирующим излучением объект, в том числе и человек, может получить опасную дозу излучения. Из-за этого исследователи работают над созданием методов, позволяющих повысить чувствительность съемки без потери качества получаемого изображения.

Группа разработчиков из Массачусетского технологического института разработала алгоритм, который может создавать фазовое изображение полупрозрачных объектов, имея в качестве входных данных кадр, в котором на каждый пиксель приходится один-два фотона. Ученые использовали немного модифицированную сверточную нейросеть IDiffNet из своей недавней работы.

Оптическая схема состоит из лазера, излучающего на длине волны 632,8 нанометров, свет от которого проходит через систему линз к к фазовому пространственному модулятору света. В его основе лежит жидкокристаллическая панель, которая способна менять фазу проходящего света на каждом пикселе на величину до 2π. После этого свет от модулятора попадает на светочувствительную матрицу, способную регистрировать только интенсивность излучения. Ученые сравнили разные способы обработки сигнала с матрицы нейросетью, в том числе прямую обработку сырых данных, а также использование предварительно обработанных данных. Для такой предварительной обработки авторы выбрали аппроксимирующую функцию, которая связывает фазу падающего на матрицу света с квадратным корнем из измеряемой ей интенсивности света. Авторы отмечают, что благодаря этому нейросеть получает данные об особенностях распространения света от объекта (его изображении на модуляторе) до матрицы.

Для обучения нейросети авторы работы использовали два датасета, содержащих по 9,5 тысяч фотографий — изображения микросхем и изображения повседневных объектов из датасета ImageNet. Исследователи составили пары из исходного изображения, а также изображения, которое проецировалось на матрицу с такой интенсивностью, что на каждый пиксель попадали в среднем 1-2 фотона, а отношение сигнала к шуму стремилось к единице. В качестве проверочных данных они использовали новые снимки, не использованные во время обучения, на которых были изображены объекты таких же типов. В результате ученым удалось показать, что нейросеть способна качественно восстановить картину распределения фаз при таком низком освещении. Наилучшие результаты показал метод с использованием аппроксимирующей функции, примененный на датасете с микросхемами. Кроме того, нейросеть показала более качественные результаты, чем классический в этой области алгоритм Гершберга-Саксона, который проверили на тех же изображениях.

В мае другая группа американских исследователей также использовала нейросетевой алгоритм для восстановления ярких изображений по кадрам, снятым в практически полной темноте - при освещении около 0,1 люкса. В результате нейросеть научилась создавать более качественные фотографии с меньшим уровнем шума, чем аналогичные методы.

Григорий Копиев