Нейросеть превратила спутниковые снимки в обычные фотографии с земли

Xueqing Deng et al. / arXiv.org, 2018
Американские исследователи создали нейросеть, которая превращает спутниковые снимки в фотографии той же местности с уровня земли. Разработчики считают, что в будущем алгоритм можно использовать для увеличения эффективности определения покрытия и использования территории по спутниковым снимкам, сообщается в работе, опубликованной на arXiv.org.
Обычно для удаленного изучения местности используются спутниковые снимки или даже видеозаписи. Тем не менее, часто они имеют низкое разрешение, а также, как и любые снимки сверху, не так удобны и информативны, как обычные снимки с уровня земли. В качестве решения этой проблемы ученые также используют фотографии из социальных сетей или других сайтов, снабженные геометками, и панорамные снимки с картографических сервисов. Но эти снимки покрывают очень малую долю всей поверхности Земли и распределены неравномерно.
Группа исследователей из Университета Калифорнии в Мерседе под руководством Шона Ньюсэма (Shawn Newsam) предположила, что снимки с уровня земли можно синтезировать искусственно на основе снимков той же местности, сделанных с орбиты. Для этого исследователи выбрали генеративно-состязательную нейросеть на основе сверточных нейросетей, состоящую из двух основных элементов — генератора и дискриминатора. Генератор получает в качестве исходных данных вектор, созданный из небольшого фрагмента спутникового снимка, и дополнительный случайный вектор. После этого он создает на основе исходных данных изображение, которое отдается на проверку дискриминатору. Тот сравнивает это изображение с настоящими фотографиями из датасета, сделанными с уровня земли, и определяет, настоящее оно или сгенерированное нейросетью. В результате обе сети постепенно обучаются — генератор, получая оценку от дискриминатора, начинает создавать все более правдоподобные изображения, а дискриминатор учится точнее распознавать синтетические изображения.
Кроме того, авторы проверили способность нейросети создавать карту признаков для классификации территории на городскую и сельскохозяйственную. Они модифицировали нейросеть и снова применили для классификации метод опорных векторов. После этого результаты сравнивали с другими классификаторами, которые использовали в качестве исходных данных реальные фотографии, а также интерполировали данные для местности, для которой не было настоящих фотографий. Тесты показали, что классификация с использованием сгенерированных из спутниковых снимков изображений оказалась самой точной и имела точность 73 процента.
В прошлом году канадские исследователи использовали генеративно-состязательную нейросеть для воссоздания из спутниковых снимков карты высоты и текстуры местности. А в 2016 году американские исследователи обучили нейросеть поиску бедных регионов на основе снимков со спутника.
Григорий Копиев