Автоматическая обрезка изображений облегчила распознавание жирафов

Patrick Buehler et al. / Ecological Informatics, 2019

Разработчики из Microsoft Azure совместно с биологами из Университета штата Пенсильвания разработали алгоритм, который автоматически ищет на фотографиях диких животных и обрезает снимки так, что остается только область, необходимая для дальнейшего обучения алгоритмов распознавания. Модель опробовали на снимках жирафов, в результате чего удалось получить целый датасет изображений их торсов. Статья с описанием работы алгоритма опубликована в журнале Ecological Informatics.

Использование машинного обучения для анализа популяций диких животных помогает эффективнее оценить масштабы вымирания видов и принять соответствующие меры. При этом сама задача создания подобных алгоритмов осложняется тем, что для них нужно большое количество данных, которые чаще всего необходимо размечать и обрезать (или обводить область интереса) вручную, и только после этого приступать к обучению.

В новой работе исследователи под руководством Патрика Бюлера (Patrick Bueler) из Microsoft решили упростить эту задачу. Для этого они обучили алгоритм распознавания изображений, основанный на гистограмме направленных градиентов, определять те области на изображении, на которых есть объект интереса: в данном случае — торс жирафа, так как именно торс позволяет биологам определить особь по узору пятен. После этого алгоритм разбивал изображения из выборки на отдельные фрагменты и на каждом из них искал объект интереса, в случае успеха возвращая уже обрезанный фрагмент, который может использоваться для дальнейшего обучения других алгоритмов. В обучающей и тестовой выборке использовались как изображения жирафов в профиль (всего таких изображений было 1800), так и изображения других объектов: алгоритм, таким образом, не только обрезал торсы жирафов на снимках, но и предварительно разбирал датасет, выискивая в нем животных.

В результате ученые смогли получить датасет из снимков торсов жирафов одного размера, причем вырезать нужные фрагменты автоматически удалось из фотографий, сделанных с разного расстояния и при разной освещенности, а также из снимков, на которых животные прятались в кустах. Точность работы алгоритма составила 99 процентов. 

Для лучшей работы подобных алгоритмов разработчики и биологи собирают масштабные датасеты. Один из таких прошлым летом представили исследователи из проекта iNaturalist: они собрали около 859 тысяч изображений, сделанных натуралистами-любителями.

Елизавета Ивтушок

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.