Археологи научили нейросеть классифицировать древнюю керамику

Американские археологи научили нейросеть распознавать и классифицировать древнюю керамику по различиям в орнаментах. Для обучения они использовали цифровые изображения белой расписной керамики индейского населения юго-запада США. Первые результаты пятилетних опытов по глубокому обучению внушают оптимизм — сверточная нейросеть продемонстрировала точность, сопоставимую с навыками опытных археологов, а в некоторых случаях и превзошла их. Результаты опубликованы в Journal of Archaeological Science.
За два века исследований археологических памятников пуэбло на американском юго-западе были накоплены десятки тысяч керамических фрагментов из сотен древних поселений. Местная глиняная посуда, разнообразная по форме и богато орнаментированная, получила название «тусаянская белая керамика» (Tusayan White Ware). Ее особенно выразительным признаком является роспись: по белому или серому фону контрастным черным или коричневым пигментом нанесены геометрические рисунки. Форма сосудов, орнаментация и другие отличительные признаки служат маркерами для понимания культурной принадлежности населения, торговых связей и хронологии.
Археологи Лешек Павлович (Leszek M. Pawlowicz) и Кристиан Даунум (Christian E. Downum) из университета Северной Аризоны применили метод глубокого обучения для классификации тусаянской белой посуды. Для анализа цифровых изображений орнаментированных фрагментов керамических сосудов ученые использовали технологию сверточных нейронных сетей, они позволяют эффективно распознавать образы, а затем их классифицировать, сопоставляя визуальные признаки сходства и отличия тысяч глиняных черепков.
Для работы были выбраны модифицированные версии двух моделей сверточных нейросетей — CNN VGG16 и ResNet50. Для ускорения процесса использовали трансферное обучение, применяя предварительно обученные веса модели. Во время тренировки изменяли масштаб изображений и поворачивали их на случайный угол от 0 до 360 градусов. Это помогло улучшить способность модели классифицировать типы черепков независимо от ориентации и размера исходного изображения. Цвет фотографий преобразовали в оттенки серого, чтобы устранить ошибки из-за загрязнения или погодных условий, а также отклонений баланса белого при фотографировании керамики.
Для сравнения результатов использовалась метрика точности Top-1, в которой сравнивали классификации, выполненные нейросетью и людьми как между собой, так и с согласованной выборкой данных. Исследователи сообщают, что модель достигла точности согласованного набора данных и вполне сравнима с точностью опытных классификаторов-археологов. Совпадение между классификацией нейросети и эталонным набором получилось выше, чем совпадение между парами людей. Это говорит о том, что сверточная сеть в среднем видит классификационные признаки керамики лучше, чем человек.
Использованная модель не только классифицирует керамику, она еще умеет объяснять, на основании чего типологизирован тот или иной фрагмент. Это сделано при помощи карт локализации важных признаков, называемых градиентно-взвешенным отображением активации классов (Grad-CAM). Этот инструмент получает от нейросети сведения о степени значимости области изображения и окрашивает ее по принципу тепловой карты. Более релевантные для классификации участки обозначены красным, а менее важные — синим.
Елена Синицкая