Программа научилась классифицировать живопись по стилям и авторам

Ученые из Ратгерского университета в Нью-Джерси, США, обучили нейронную сеть для распознавания картин по жанрам, стилям и художникам. Их программа с точностью 60% определяла автора картины, с такой же точностью — жанр. Точность определения стиля оказалась гораздо меньше — чуть больше 30%, но это авторы объясняют малым размером выборки, в которой для некоторых стилей нашлось лишь не более 20 примеров. Препринт новой работы выложен на сайте arxiv.org.

В качестве базы данных авторы использовали подборку «Wikiart paintings», которая находится в открытом доступе. В нее включено около 80 тысяч картин более тысячи живописцев. Для каждой картины также доступна информация о ее стиле (импрессионизм, барокко, кубизм и так далее) и жанре (пейзаж, портрет, натюрморт и подобные).

Для обучения нейронной сети ученые использовали несколько алгоритмов, для которых они сравнивали точность и производительность. Все алгоритмы включали несколько основных этапов: выделение вектора «визуальных особенностей» по каждой картине, приведение полученного вектора особенностей к меньшей размерности при помощи той или иной метрики, обучение нейронной сети на части выборки и тестирование на тех картинах, которые не использовались при обучении.

Под «визуальными особенностями» в данном случае имеются ввиду  характерные параметры изображений, которые можно описать численно. Часть из них имеет понятный для человека смысл, например, цветовая гамма картины или характерные форма и направления мазка, однако большинство не «переводятся» на человеческий язык. Для их выделения в работе использовались различные вариации метода главных компонент, который всю доступную цифровую информацию по картине разбивает на кластеры. Из этого разбиения ученые выбирают наиболее информативные параметры, которых в рамках новой работы было от 400 и более.

Все визуальные особенности каждой картины записывались в виде вектора, размерность которого совпадала с числом особенностей. Для того, чтобы использовать эти вектора в задаче классификации, ученые вводили так называемую метрику — способ вычисления «схожести» нескольких векторов между собой. На основании этих метрик программа принимала решение об вероятном авторстве картины, а также о ее принадлежности к тому или иному жанру или стилю.

Не все художники дались программе одинаково легко. Так, например, не удалось эффективно различать картины Клода Моне и Камиля Писсарро. Оба художника были импрессионистами, современниками и даже близкими товарищами, которые оказали друг на друга большое влияние. Аналогичным образом программа часто путала между собой природные и городские пейзажи, так как и там и там обычно используются натуральные цветовые гаммы и часто встречаются природные объекты вроде реки.

Из более очевидных «путаниц» ученые отмечают, например, что программа часто смешивала стили «Ренессанс» и «ранний Ренессанс», «импрессионизм» и «постимпрессионизм», «кубизм» и «синтетический кубизм». Понятно, что эти стили родственны между собой, поэтому зачастую различий между двумя картинами оказывалось недостаточно для их уверенной классификации.

В заключении ученые отмечают, что несмотря на неидеальную точность классификации, их программам удалось побить рекорды предшественников, особенно с учетом того, что в новой работе впервые использована такая большая и разнообразная база. Ранее попытки классификации произведений изобразительного искусства с помощью машинного обучения уже проводились, например в этой работе. Однако тогда речь шла не о определении стилей, а о составлении дерева подобности. Что касается соревнования между машинным обучением и работой экспертов в истории живописи — тут авторы занимают следующую позицию: люди все еще лучше справляются с задачей классификации, но компьютеры уже «наступают им на пятки». В любом случае, эксперты уже могут подчерпнуть много интересных и неизвестных ранее фактов и связей из работы программ-классификаторов.