Группа исследователей из Калифорнийского технологического университета и Корнелльского университета разработала в рамках проекта Visipedia онлайн-сервис для идентификации по фотографии любого из 400 самых распространенных на территории США и Канады видов птиц. Новый инструмент был представлен 8 июня в Бостоне на конференции Computer Vision and Pattern Recognition (CVPR15). В дальнейших планах ученых создание бесплатного приложения для смартфонов с аналогичным функционалом.
Новый сервис называется Merlin Bird Photo ID и создан он благодаря сотрудничеству специалистов по компьютерному зрению, машинному обучению, профессиональных орнитологов и натуралистов-любителей со всей Северной Америки. По заявлению разработчиков, в настоящий момент он в 90 процентах случаев выдает правильную птицу в трех верхних результатах выдачи. Благодаря встроенным алгоритмам машинного обучения ожидается, что после запуска сервиса для широкой аудитории точность определения птиц возрастет.
Для того чтобы выяснить какая птица изображена на той или иной фотографии, изображение необходимо загрузить на сервер и указать, где и когда была сделана фотография. Чтобы сориентировать алгоритм, пользователю также необходимо выделить птицу, обведя ее прямоугольной рамкой и отметить несколько ключевых точек: клюв, хвост, глаза, горло и грудь. После этого искусственный интеллект просчитывает множество возможных комбинаций различной визуальной информации – цвета перьев, формы клюва и т.д.
Далее идет сверка полученных констелляций визуальных признаков с гигантской базой данных NABirds, собранной усилиями множества энтузиастов. В ней содержится 48 562 изображения североамериканских птиц, разбитых на 555 категорий. Каждое изображение было аннотировано натуралистами-любителями, а алгоритм машинного обучения прошел несколько «тренировочных» сессий на этой базе с поправками от профессиональных орнитологов (что и позволило разбить все фотографии на более крупные «визуальные категории», чаще всего отражающие половые или возрастные отличия в окрасе или оперении птиц одного вида).
Параллельно с этим идет поиск и по другой базе данных – eBird.org, где собрано более 70 миллионов наблюдений птиц в разных местах Северной Америки в разное время. Это позволяет отсечь заведомо невозможные и маловероятные варианты и вести поиск прицельнее. Обобщив всю полученную информацию, программа выдает окончательный набор из нескольких потенциально возможных видов птиц. В будущем приложении для смартфонов помимо распознавания самой фотографии, пользователям будет предложено ответить еще на пять последовательных вопросов об изображенной птице, что должно еще более повысить точность идентификации ее вида.
На прошлой неделе Google анонсировал разработку онлайн-сервиса Im2Calories, который сможет по фотографиям блюд определять их калорийность и состав питательных веществ. Как и Merlin Bird Photo ID, он использует сложную систему распознавания образов, доступ к базам данных по пищевым продуктам и обучающийся алгоритм, повышающий свою точность на основе обратной связи и корректировок пользователей. Кроме того, в середине мая открыл доступ к сервису интеллектуального распознавания изображений и создатель и автор вопросно-ответной базы знаний Wolfram|Alpha, а также системы компьютерной алгебры Mathematica Стивен Вольфрам.