Микроскоп с нейросетью и дополненной реальностью упростит обнаружение рака

Компания Google разработала интерактивный микроскоп для обнаружения рака в образцах тканей. Он в реальном времени анализирует изображение с камеры и помечает области, похожие на злокачественные образования, с помощью экрана дополненной реальности, встроенного в микроскоп. Для этого не обязательно создавать новую модель микроскопа — за основу можно взять многие из уже существующих микроскопов, применяемых в больницах и исследовательских центрах, отмечают разработчики в блоге Google Research. Разработка была представлена на ежегодной конференции AACR.

Одна из главных сфер применения технологий машинного обучения, в которой исследователи добились больших успехов в последние годы, — компьютерное зрение. Как правило, его применяют для распознавания лиц, а также других объектов на изображениях или видео. Также распознавание объектов применяют в медицине для диагностики заболеваний и обнаружения структурных изменений в тканях.

Разработчики из Google применили машинное обучение для диагностики рака, но не просто разработали сам алгоритм, а создали прототип микроскопа, который использует этот алгоритм. За основу авторы разработки взяли серийный оптический микроскоп и вставили между окуляром и объективом два модуля. Один из них использует полупрозрачное зеркало, которое пропускает часть света от образца дальше, а часть отражает на фотоматрицу. Второй модуль устроен похожим образом, но выполняет обратную задачу — проецирует изображение и накладывает его на изображение изучаемого образца. Таким образом, микроскоп может в режиме дополненной реальности отображать информацию прямо в окуляре.

Изображение исследуемой ткани, попадающее на матрицу, в реальном времени обрабатывается алгоритмом, разработанным исследователями. Он представляет собой глубокую сверточную нейросеть, основанную на алгоритме, разработанном в Университетском колледже Лондона, и использованном ранее в некоторых медицинских исследованиях. Программу можно применять для обнаружения разных патологий, но специалисты из Google сконцентрировались на двух типах объектов: метастазах рака молочной железы в сигнальных лимфатических узлах и раке предстательной железы. Разработчики натренировали нейросеть на двух размеченных датасетах, содержащих 399 высококачественных изображений метастазов в лимфатических узлах и 285 изображений ткани предстательной железы.

Во время осмотра образцов ткани человеком алгоритм также анализирует изображение в поле зрения и создает тепловую карту, в которой каждому пикселю присвоена вероятность того, что на нем изображены раковые клетки. Микроскоп может в реальном времени отображать подозрительные области на изображении, обводя возможные опухоли яркой линией или просто отображая тепловую карту на всем поле зрения.

Исследователи отмечают, что подобный интерактивный микроскоп можно создать на основе многих моделей оптических микроскопов, реально используемых в больницах и исследовательских центрах, без необходимости закупки нового дорогого оборудования. Помимо этого, алгоритм был натренирован на снимках с высококачественных сканеров, но практически без потери эффективности справлялся с изображениями, получаемыми на микроскопе. Это значит, что натренированная модель сможет хорошо работать на микроскопах разных моделей.

В прошлом году американские ученые создали нейросеть, умеющую определять некоторые виды рака кожи — меланому и карциному — с более высокой точностью, чем ведущие врачи в этой области. В ее основе также лежит архитектура Inception v3, которую использовали специалисты из Google для создания AR-микроскопа.

Григорий Копиев