Нейросеть научилась определять художника по штрихам
Офорт авторства Анри Матисса (сверху) и рисунок тушью Эгона Шиле (снизу)
Elgammal et al. / arXiv.org, 2017
Разработан алгоритм, определяющий автора картины по характеристикам штрихов в ней, а также способный различать настоящие картины и подделки под них, написанные другими художниками. Разработчики натренировали программу на наборе из почти трехсот картин известных художников, например, Пикассо и Матисса, сообщает MIT Technology Review. Разработка американских и нидерландских специалистов будет представлена на конференции AAAI по искусственному интеллекту в феврале 2018 года, препринт статьи опубликован на arXiv.org.
Поскольку картины известных художников, как правило, существуют в единственном экземпляре, цены на них могут исчисляться десятками и сотнями миллионов долларов. Из-за этого некоторые картины подделывают злоумышленники, причем не всегда это заметно даже разбирающимся в живописи людям. Для защиты от таких подделок предлагаются разные методы, например, оснащение картин уникальными идентификаторами, которые практически невозможно подделать из-за их сложной микроструктуры.
Исследователи из США и Нидерландов под руководством Ахмеда Эль-Гамаля (Ahmed Elgammal) из компании Artrendex и Ратгерского университета создали алгоритм, который способен узнавать авторов картины по особенностям их штрихов. В 2015 году эта группа исследователей уже создала алгоритм, который умеет классифицировать картины по авторам и даже стилям на основе их индивидуальных характеристик, таких как цветовая гамма. В новой работе исследователи решили сконцентрироваться на одном компоненте картин — штрихах.
Каждый штрих можно описать множеством характеристик, например, формой, длиной, равномерностью толщины вдоль штриха и другими параметрами. Исследователи решили извлечь эти характеристики с помощью компьютерных алгоритмов. Изначально картины разбивались на отдельные штрихи с помощью специального алгоритма. В качестве набора данных для алгоритмов исследователи использовали 297 картин известных художников, таких как Пикассо и Матисс, выполненных в стиле литографии, рисунка тушью и других. Алгоритм разбил эти картины на более чем 80 тысяч отдельных штрихов.
Набор данных для тренировки и проверки алгоритмов
Elgammal et al. / arXiv.org, 2017
Для оценки штрихов исследователи решили использовать два подхода. Они описали основные характеристики, такие как толщина штриха и ее продольный профиль, с помощью разных дескрипторов, и научили алгоритм, основанный на методе опорных векторов, классифицировать штрихи. Второй подход заключался в использовании рекуррентной нейросети с управляемыми рекуррентными блоками, которая самостоятельно искала характерные для тех или иных художников особенности.
Пример поддельных картин. Верхний ряд: подделка; подделка; оригинал Матисса. Средний ряд: оригинал Матисса; подделка; подделка; оригинал Матисса. Нижний ряд: подделка; оригинал Матисса; оригинал Пикассо; подделка.
Elgammal et al. / arXiv.org, 2017
После подготовки алгоритмов исследователи протестировали их на том же наборе данных, и, комбинируя оба подхода, они получили точность распознавания художников на уровне 80 процентов. Также они попросили пятерых художников нарисовать копии картин Пикассо, Матисса и Шиле. Получив 83 картины, они проверили их с помощью своих алгоритмов, и выяснили, что их комбинация способна распознать во всех этих картинах подделку.
В последние несколько лет в обработке и анализе изображений с помощью нейросетевых алгоритмов заметен сильный прогресс. Например, такие алгоритмы умеют смешивать в одном изображении несколько художественных стилей, превращать наброски в полноценные картины, и даже создавать оригинальные произведения искусства. Также подобные алгоритмы хорошо работают и с видеозаписями. Например, недавно была представлена система, которая позволяет вставлять стороннюю речь в видеоряд, практически точно воссоздавая артикуляционную мимику говорящего.
Григорий Копиев
