Нейросеть разглядела ствол дерева за листьями

Японские исследователи создали алгоритм, строящий скрытую под листьями структуру растения на основе фотографий с разных ракурсов. Разработчики считают, что он позволит владельцам больших плантаций следить за ростом растений с помощью автоматизированных средств, например, летающего между растениями дрона. Разработка будет представлена на конференции CVPR 2018, статья с ее описанием доступна на arXiv.org.

Программы уже умеют создавать довольно точную трехмерную модель объекта по его двумерным изображениям, но обычно их задача заключается в создании модели видимой части объекта. Куда более сложная задача — воссоздание внутренней структуры объекта, которая не видна на исходных изображениях. Как правило, эта задача стоит перед системами захвата движения, которые воссоздают движения скелета человека или животных на основе видеозаписи без использования закрепляемых на теле датчиков или маркеров.

Группа исследователей под руководством Ясуси Яги (Yasushi Yagi) из Осакского университета разработала метод определения структуры деревьев и других растений, скрытой за их листьями. Авторы использовали подход, который часто применяемый разработчиками нейросетей, переносящих детали изображения между разными стилями (например, такой метод применили программисты из NVIDIA, научившие алгоритм превращать зиму в лето). В своей работе исследователи превращают исходное изображение растения с листьями в карту, отображающую структуру веток.

Разработчики использовали нейросеть pix2pix, которая принимает изображение растения с листвой и создает карту, в которой каждый пиксель отображает вероятность того, что на нем изображена ветка. Авторы натренировали нейросеть на парах изображений — исходном изображении растения и структуре его ствола. Для этого исследователи создали десять 3D-моделей растений. После этого изображения со многих ракурсов, обработанные pix2pix, передаются на систему, которая учитывает положение камеры на каждом из снимков и собирает их в единую 3D-модель, которая также отображает вероятность нахождения ветки, но уже в объемном виде.

Разработчики протестировали алгоритм на моделях растений и на нескольких настоящих растениях. Результаты работы алгоритма можно увидеть в ролике:

В прошлом году авторы проекта pix2pix, на котором основана нейросеть японских разработчиков, представили систему, которая превращает созданные в графическом редакторе наброски лиц в портреты. Редакция N+1 протестировала систему на мемах и собрала получившиеся изображения в материал «Изображая мемы».

Григорий Копиев