Программа научилась находить «жемчужины» среди непопулярных фотографий

Одна из непопулярных фотографий на flickr.com

Фотография: Tais and i / flickr.com

Ученые из Италии и Испании создали алгоритм для поиска красивых фотографий среди непопулярного сегмента сайта flickr.com. При помощи методов машинного обучения авторам удалось натренировать свою программу CrowdBeuty так, что найденные ей непопулярные фотографии были сопоставимы по красоте (в параметрах модели) или даже превосходили топовые снимки на flickr.com. Описание исследования опубликовано на arXiv.org.

Популярность изображений в flickr.com распределяется очень неравномерно: больше 150 миллионов фотографий попадают в favourites всего пять раз или меньше. Для сравнения, только 0.001 процент наиболее популярных снимков набирает по этому же показателю 10 тысяч и больше. Используя известную аналогию «если дать обезьянам достаточно времени, они напишут „Войну и Мир“», авторы предполагают, что среди недооцененных снимков найдется хотя бы небольшое число «жемчужин». Традиционный для социальных сетей подход — опираться на метрики вроде комментариев или лайков — в этом случае не работает, так как непопулярные фотографии не получают практически никакой социальной отдачи.

Для решения этой проблемы авторы использовали машинное обучение «с учителем». Для каждого изображения составлялся вектор из 47 признаков. Они характеризовали цветовую палитру, степень симметрии, композицию снимка и так далее.

Далее ученые предложили аудитории краудсорсинговой платформы CrowdFlower оценить выборку из 10000 фотографий в четырех категориях: животные, природа, люди, город. На основании этих оценок в каждой категории ученые обучали программу, то есть настраивали значимость каждого из 47 признаков.

При помощи обученной программы авторы попытались найти «красивые» фотографии из выборки в 9 миллионов изображений с flickr.com, для которых по автоматическим тегам можно было достоверно определить жанр.

Отобранные изображения ученые сравнивали по техническому параметру «красоты» с наиболее популярными фотографиями на flickr.com. Оказалось, что во всех категориях, кроме «люди», снимки, найденные новой программой, были сопоставимы или превосходили топовые кадры.

У нового алгоритма есть и ряд ограничений. Так, он основывается на машинных тегах при первоначальном отборе фотографий по жанру. Из-за этого в выборке оказывается небольшое число рисунков и скетчей, для которых критерии красоты отличаются от фотографических.

Также для слишком контрастных снимков или фотографий в необычной гамме (черно-белые, сепия) значения некоторых признаков «зашкаливают», что в итоге приводит к завышенным оценкам.

Тем не менее, ученые отмечают, что их алгоритм может оказаться крайне полезным для фотографических сервисов вроде flickr.com. Отбирая красивые снимки из «непопулярных» аккаунтов, можно «перенаправлять» потоки аудитории, что в итоге приведет к более «честному» распределению популярности и повышению качества сервиса в целом.


Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.