Поисковый движок научили искать фотографии животных по положению головы

Разработчик, известный под ником x6ud, создал поисковый сервис, позволяющий искать фотографии животных, головы которых расположены под определенным углом к камере. Во время поиска пользователь указывает тип животного и двигает модель черепа нужным ему образом, после чего сервис выдает снимки. На разработку обратил внимание блог Prosthetic Knowledge.

Современные поисковые системы позволяют искать объекты по описанию, причем они могут не только искать фотографии определенных животных, но и учитывать их свойства. К примеру, обычно поисковые системы корректно интерпретируют фразу «Черная кошка смотрит вверх» и выдают снимки, соответствующие этому описанию. Это возможно благодаря применению нейросетевых алгоритмов, которые ассоциируют снимки с определенными ключевыми словами.

Программист, известный под ником x6ud, применил необычный подход и разработал сервис, который так же позволяет искать снимки объектов по их свойствам, но делает это иным образом. Вместо прямого поиска по ключевым словам программист предусмотрел окно поиска, в котором есть всего два вида параметров и панель, в которой располагается объемная модель черепа животного. Пользователь может выбрать, чей череп будет отображаться на панели, а также то, по каким животным будет производиться поиск. В последнем случае пользователь может выбрать конкретный вид или другую таксономическую категорию животного, или даже указать породу некоторых из них.

Главный элемент сервиса — панель с выбором направления. В ней пользователь может крутить модель черепа указателем мышки и выбирать нужное ему направление относительно двух осей. Кроме того, под панелью располагается ползунок, позволяющий управлять углом поворота головы вокруг третьей оси. Задав все параметры, пользователь может нажать кнопку поиска и получить список результатов. Стоит отметить, что с некоторыми углами сервис работает некорректно, как правило, это проявляется, если модель черепа развернута на 180 градусов, а также, когда она повернута сильно вверх или вниз.

Для поиска сервис использует API крупного фотосервиса Flickr. Пользователь может нажать на любой снимок и увидеть его в полном размере. Если его заинтересовал снимок, он может также нажать на ссылку на его оригинальную страницу на Flickr. В качестве моделей черепов разработчик воспользовался библиотекой моделей Университета штата Орегон.

Автор не раскрывает всех подробностей работы сервиса, однако некоторые выводы можно сделать исходя из кода, опубликованного на GitHub. В частности, определенным животным в коде сопоставлен список ссылок на соответствующие фотографии на Flickr, а также параметры, в том числе значения углов поворота головы в градусах. Возможно, программист сначала сделал датасет, состоящий из пар типа модель-снимок, а затем обучил нейросеть сопоставлять заданное положение модели со снимками из Flickr.

Ранее американские исследователи создали сервис для идентификации птиц среди 400 самых распространенных на территории США и Канады видов. В нем пользователю необходимо загрузить снимок, указать место съемки, а также указать несколько параметров. В частности, пользователь должен поместить животное в рамке, а также указать несколько ключевых точек на его теле.

Григорий Копиев