Исследователи из Лаборатории информационных технологий и искусственного интеллекта (CSAIL) Массачусетского технологического института разработали алгоритм, способный определить запоминаемость проанализированного изображения. Авторы кратко рассказали о проделанной работе на конференции ICCV 2015. Кратко о работе системы можно прочитать на сайте MIT, проанализировать любое изображение можно на сайте лаборатории.
Авторы использовали набор из 60 тысяч снимков, которые при помощи краудсорсинг-сервиса MTurk вручную оценивались людьми на запоминаемость — одному и тому же человеку показывали набор из 186 изображений на протяжении четырех с половиной минут. При этом некоторые снимки в наборе повторялись, а от человека требовалось указать, насколько знакомой для него выглядит та или иная фотография.
Вручную оцененный набор изображений исследователи использовали для тренировки нейросети при помощи глубокого обучения, чтобы система могла самостоятельно определить, что именно влияет на уровень запоминаемости той или иной фотографии. При загрузке изображения через веб-интерфейс LaMem алгоритм строит условную «тепловую карту» запоминающихся частей изображения, показывая наиболее примечательные области.
По словам исследователей, точность, с которой программа предсказывает запоминаемость фотографии, сопоставима с аналогичной оценкой живого человека. Как отмечают авторы, подобный алгоритм определения запоминаемости фотографии «с первого взгляда» можно использовать, например, для оценки общего качества фотографии, а для улучшения результатов можно изменить композицию или наложить фильтр. Исследователи отдельно обращают внимание на то, что подобные алгоритмы можно использовать для определения и сохранения информации, которую люди, скорее всего, забудут из-за ее низкой запоминаемости.
Ранее специалисты Лаборатории информационных технологий и искусственного интеллекта представили алгоритм, способный по анализу рисунка циферблата часов поставить неврологический диагноз еще до того, как нарушения в центральной нервной системе приведут к ощутимому когнитивным нарушениям у пациентов.