В Google научились синтезировать окружающий мир по фотографиям Streetview

Синтезированное изображение слева, оригинальная фотография, изъятая из серии снимков, справа.

Фотография: John Flynn et al. / Google

Группа исследователей из Google создала систему под названием DeepStereo, которая создает трехмерное пространство на основе анализа имеющихся в ее распоряжении фотографий. Пробелы в синтезированном мире программа заполняет, основываясь на изображениях, которые она видела в процессе обучения. Подробнее с исследованием можно ознакомиться на arXiv.org

Обучение системы проведено на приблизительно сотне тысяч наборов снимков с StreetView. В серии изображений убирали одну из фотографий, после чего алгоритм, основываясь на остальных снимках, синтезировал отсутствующую фотографию и использовал ее при создании трехмерного окружения. С результатом работы алгоритма можно ознакомиться на Youtube.


Предполагается, что при наличии достаточных вычислительных мощностей DeepStereo можно будет использовать для синтеза виртуальных туров по местам, панорамы которых существуют в сервисе StreetView.

В последнее время Google часто демонстрирует наработки в области синтеза и распознавания изображений. Ранее, например, сотрудники компании создали алгоритм, который создает таймлапсы из множества туристических снимков одного и того же места. Другая группа исследователей заставила нейросеть  дорисовывать найденные на снимке образы, в результате чего получаются сюрреалистические картины, уже прозванные авторами «инцепционизмом».

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.