Исследователи из Университета Оулу разработали алгоритм, который за счет обнаружения и определения микровыражений лица способен определять эмоции, которые старается скрыть человек. Препринт работы опубликован на arXiv.org, кратко об исследовании пишет MIT Technology Review.
В качестве набора тренировочных данных для обучения системы авторам работы сначала пришлось создать базу микровыражений, связанных с скрытыми эмоциями. 20 испытуемым предложили смотреть видеозаписи, которые должны были вызвать сильную эмоциональную реакцию. При этом добровольцев попросили постараться скрывать свои эмоции при просмотре видео. В результате этапа подготовки тренировочного набора данных исследователи получили набор из 164 микровыражений, записанных на камеру с частотой 100 кадров в секунду.
После этого распознавание скрытых эмоций разбили на два отдельных этапа. Первый этап — обнаружение микровыражения на лице человека. Для отслеживания момента появления микровыражения исследователи просто сравнивали последовательно сделанные кадры с изначальным выражением лица и любое изменение за пределами установленного порога помечали как микровыражение.
Второй этап распознавания скрытой эмоции, с которой связано определенной микровыражение, для компьютера сложнее, так как разные микровыражения лица очень тяжело отличить друг от друга на статичном изображении. Для того, чтобы упростить эту задачу, авторы работы добавили в алгоритм распознавания фильтр, «усиливающий» все движения, которые произошли в кадре по сравнению с предыдущим. Таким образом, микровыражение становится более ярко выраженным и алгоритм может сопоставить его с базой и классифицировать скрытую эмоцию как положительную, отрицательную или как удивление.
Авторы особо отмечают, что для первого этапа такой подход не годится, поскольку в результате обработки «усиливающего» фильтра будут ярче обозначены движения, не имеющие отношения к микровыражениям лица — например, поворот головы.
Для проверки возможностей системы исследователи сравнили результативность алгоритма с двумя контрольными группами, в каждую из которых входило 15 человек. Первую группу попросили, глядя на статичные кадры, определить скрытую эмоцию человека, членам второй группы необходимо было сделать то же самое, но глядя на видеозапись лица — то есть, не только распознать эмоцию, но и обнаружить момент появления микровыражения лица.
Оказалось, что в сравнении с первой группой испытуемых алгоритм способен распознавать скрытую эмоцию по статичным кадрам значительно лучше, чем человек. В случае со второй группой и определением микровыражения по видео точность алгоритма оказалась на том же уровне, что и у людей.
Как отмечает MIT Technology Review, подобная разработка может в будущем пригодиться в психотерапии, а также помочь в работе правоохранительным органам — сотрудники некоторых подразделений даже проходят специальную тренировку на распознавание микровыражений лица.