Нейросеть научили искать видео при помощи эмодзи

Исследователи из Амстердамского университета и Qualcomm разработали поисковую систему для видеороликов на YouTube, которая в качестве запроса принимает от пользователя последовательность пиктограмм. Кратко о разработке пишет MIT Technology Review, тестовая версия поисковика Emoji2Video доступна на отдельном сайте.

Поисковая система работает по базе из 45 тысяч роликов на YouTube. Из каждого ролика нейросеть выделила несколько кадров и определила, что именно изображено на экране в данный момент и сопоставила кадр с определенным набором пиктограмм. По мере ввода пользователем эмодзи алгоритм сортирует поисковую выдачу, показывая видеоролики, в кадрах которых было наибольшее количество совпавших пиктограмм.

Система использует ограниченное количество эмодзи, всего пользователю доступно 376 пиктограмм. С полным списком из 13 тысяч пиктограмм, поддерживаемых стандартом Юникод, можно ознакомиться по ссылке.

Ранее британская компания Intelligent Environments представила технологию использования эмодзи в качестве замены традиционному пин-коду банковских карт. По словам представителей компании, пароль из пиктограмм легче запомнить, а число возможных комбинаций значительно превышает аналогичный показатель цифрового пин-кода.

Николай Воронцов