Программу научили искать юмор на картинках

Исследовательский коллектив из Virginia Tech, TTI-Chicago и Microsoft Research создал алгоритм, который классифицирует набор картинок на смешные и несмешные. Кроме того, программа способна перерисовывать картинки, чтобы из несмешной получилась смешная или наоборот. Описание исследования выложено в виде препринта на arXiv.org.

Авторы сделали подборку из нескольких сотен клипарт картинок людей, животных и бытовых предметов, а затем предложили добровольцам составить из этого набора простые коллажи. При этом в половине случаев участников просили, чтобы коллаж был смешным. Другим добровольцам после этого предлагали оценить все получившиеся коллажи от 1 (картинка совсем не смешная) до 5 (картинка очень смешная).

Поскольку коллажи состояли из одного и того же набора элементов, для них легко было составлять текстовое описание. Его использовали для обучения простой нейронной сети, чтобы классифицировать картинки на смешные и несмешные. Оказалось, что в группу смешных картинок чаще всего попадали изображения, на которых один или несколько объектов были в необычном для них контексте. Например, на одном из коллажей животные обедали, сидя за столом, а человек сидел в собачьей корзинке.

Чтобы удостовериться, что именно контекст чаще всего отвечает за юмор, программу также обучали, как из смешной картинки сделать несмешную, или наоборот. Для этого алгоритм выбирал несколько фрагментов коллажа, больше всего выбивавшихся из общей сцены, и менял их на более подходящие элементы. Получившиеся после замены коллажи показывали добровольцам и просили их определить, кто составлял этот коллаж: человек или компьютер. В 28 процентах случаев участники считали, что автором был человек, хотя на самом деле коллаж составляла программа. Авторы отмечают, что наилучшим результатом в данном случае считалось бы 50 процентов: это означало бы, что коллажи неразличимы.

По мнению ученых, в их работе впервые делается попытка автоматического анализа смешных изображений. В будущем подобные исследования могут найти применение, например, для контекстной рекламы или для программирования автоматических камер, делающих снимок, только когда в кадре происходит что-то смешное. Ранее уже проводилось множество исследований по анализу юмора, но в основном в текстовых источниках. В одном из них авторы даже попытались измерить юмор, для чего предложили использовать информационную энтропию Шеннона.

Тарас Молотилин