Ученые из Питтсбургского университета создали алгоритм для идентификации фотографа по его снимкам. Программа основана на сверточных нейронных сетях, которые обучали «с учителем» по обширной базе изображений. Препринт работы выложен на arXiv.org.
Авторы собрали 119806 снимков разных жанров, сделанных 25 известными фотографами на протяжении всего XX века. Для обучения программы ученые экспериментировали с различными наборами признаков, чтобы определить, какие из них дают наилучшие результаты для распознавания. В работе использовались как низкоуровневые признаки, выбранные вручную (например, цветовая гистограмма) так и глубокие признаки, полученные автоматическими классификаторами.
В качестве теста из общей базы было отобрано по 20 снимков каждого фотографа, которые не использовались для обучения. Программа пыталась определить их авторство, а ученые анализировали, какие признаки активнее всего при этом использовались.
Авторы не приводят в препринте количественных данных по точности работы алгоритма, однако отмечают, что в целом программа справилась «удовлетворительно». Оказалось, что наибольший вклад при распознавании вносили «мелкие» признаки, определенные автоматически. Для удобства анализа авторы сгруппировали их так, чтобы они обозначали какими-либо характеристики, понятные человеку, например, объект съемки. Таким образом удалось показать, что алгоритм в основном опирался на содержание фотографии («здания», «люди», «пейзаж»), а такие признаки, как гамма, вносили меньший вклад.
По словам ученых, их работа впервые обращается к проблеме автоматического определения авторства фотографии. Авторы считают, что подобные алгоритмы могут быть использованы поисковыми ботами. В настоящий момент они могут искать изображение по имени автора, только если эта информация явно приведена на веб-странице с самой фотографией.
Аналогичные методы машинного обучения уже активно применялись для визуального анализа живописи или фотографий. Например, программы обучили автоматические создавать текстовое описание фотографии, «понимать» наброски или искать пожары на снимках из соцсетей.