Алгоритм «расселфил» селфи

Разработчики из Бельгии и США представили алгоритм, который превращает селфи в портреты, сделанные сторонним фотографом. Для этого система анализирует позу человека на снимке с помощью стороннего алгоритма, подбирает наиболее похожую портретную позу и восстанавливает изображение уже с ней. Препринт статьи опубликован на arXiv.org.

Фронтальные камеры современных смартфонов сейчас позволяют делать довольно качественные селфи — без использования сторонней помощи и штативов. При этом все равно остается другая проблема — нарушенная композиция: селфи выглядят менее естественно, чем обычные портретные кадры (на них, например, часто видна вытянутая рука), а также с помощью них редко удается запечатлеть себя самого в полный рост или хорошо снять фон.

Как минимум одну проблему — неестественную позу на селфи — можно немного подправить с помощью дополнительной обработки: например, кадрировать так, чтобы не было видно вытянутую руку. Можно сделать то же самое и с помощью алгоритмов компьютерного зрения — и один такой алгоритм представили исследователи под руководством Лицянь Ма (Liqian Ma) из Лёвенского католического университета в Бельгии. 

В основе их системы — алгоритм DensePose, который автоматически определяет позу человека на снимке (в прошлом году его, к примеру, использовали для создания интерактивной компьютерной игры с живыми теннисистами). Двухмерная проекция позы затем сравнивается с остальными позами в базе данных: с помощью метода k-ближайших соседей алгоритм находит естественную позу, наиболее похожую на изначальную по положению верхней части торса, дорисовывает ее и вставляет в кадр обратно.

Для обучения алгоритма исследователи собрали датасет из 23 тысяч портретных фотографий и 4,6 тысячи селфи. После обучения первой части системы, подбирающей необходимую позу (обучение проходило без учителя), поза достраивается на итоговом снимке попиксельно на основе изображения тела на оригинальном селфи — для этого используется сверточная нейросеть.

Полученные изображения затем сравнили с двумя другими существующими методами: например, основанными на «круговых» генеративно-состязательных нейросетях CycleGAN. Для этого полученные изображения показывали 20 добровольцам и просили оценить, насколько натурально они выглядят: по сравнению с остальными способами, добровольцы выбирали новый метод восстановления портретов в 79–82 процентах случаев (в зависимости от метода).

Тем не менее, у алгоритма все же есть некоторые ограничения: он не всегда может подобрать похожую позу, и в таких случаях плечи или руки на портрете получаются слишком узкими. Это, однако, по словам исследователей, происходит только в десяти процентах случаев. 

Довольно часто селфи изучают и в социокультурном контексте: например, в 2016 году ученые подсчитали, что с годами число смертей во время съемки селфи растет. Главной причиной смерти назвали падение с высоты, а лидером по числу смертей оказалась Индия.

Елизавета Ивтушок