Российские ученые разработали систему для анализа научных трендов в сфере ИИ

Исследователи Института AIRI и Сколтеха представили систему с открытым исходным кодом для анализа научных трендов Drift Inspector. Она извлекает из аннотаций научных статей утверждения об их научном вкладе и объединяет их в близкие по смыслу темы. Как говорится в пресс-релизе, поступившем в редакцию N + 1, с ее помощью уже обработали 118 тысяч статей с главных конференций по машинному обучению, компьютерному зрению и обработке языка за 2018–2026 годы. С ее функционалом можно ознакомиться здесь и здесь.

C основания компании OpenAI в 2016–2017 годах принято отсчитывать начало бума искусственного интеллекта, при котором наблюдается стремительное развитие этой области. За десять лет модели произвели качественный скачок функционала, который предоставляется пользователям, в том числе для решения профессиональных задач в области больших данных и аналитики. Однако ученые продолжают исследовать и разрабатывать модели, чтобы преодолеть существующие проблемы генеративных моделей (например, галлюцинации) и глубже изучить языковые модели и методы их обучения. Обычно аннотации таких работ содержат и описание результатов, и контекст, и мотивацию исследования, что затрудняет понимание непосредственного вклада в область.

Сотрудники Института AIRI и Сколтеха разработали систему Drift Inspector для анализа научных трендов, которая извлекает из аннотации только утверждения о научном вкладе и объединяет похожие в один кластер. В отличие от простого подсчета ключевых слов, такой подход позволяет группировать разные формулировки одной идеи и разделять случаи, когда одно и то же слово используется в разных значениях.

С помощью Drift Inspector исследователи обработали почти 118 тысяч статей с ведущих конференций по обработке языка, машинному обучению и компьютерному зрению за 2018–2026 годы. Из них они извлекли 570 тысяч научных утверждений. Каждую точку на графиках можно раскрыть до конкретного утверждения и статьи, из которой оно взято. Для анализа динамики каждой темы система рассчитывает долю статей за год, в которых встречается хотя бы одно утверждение из соответствующей группы. Кластеризацию также оценивали с помощью внешней таксономии. Качество извлечения проверяли с помощью валидированного ИИ-судьи.

Проанализировав массив научных данных, исследователи сделали несколько выводов о том, на чем сейчас сосредоточено научное сообщество в области искусственного интеллекта. Так, доля работ об информационном поиске в ведущем кластере выросла с 0,7 процента до 3,3 процента, причем растет не поиск по ключевым словам, а плотный поиск (dense retrieval), основанный на генерации с дополненной выборкой, при которой модель пользуется внешним источником данных. Считается, что это ведущий способ бороться с галлюцинациями, и на нем строятся корпоративные ассистенты, работающие с внутренними базами знаний.

Доля работ, посвященных синтаксическому парсингу упала почти на 97 процентов. Если раньше обработку языка строили как конвейер, в котором сначала шел грамматический разбор, а затем он перекладывался на конкретную задачу, то современные большие языковые модели решают задачу целиком. Так, ученые стали меньше строить системы и больше изучать уже готовые модели. Кроме того, выросла и доля исследований на стыке текста и изображений. Примечательно, что исследования языковых моделей все меньше распыляются на несколько областей знаний и концентрируются на конкретных направлениях от медицины до юриспруденции. То есть, модели перестают быть отдельной дисциплиной и становятся основой для работ в разных областях.

Ранее по просьбе N + 1 математики из AIRI рассказали о том, действительно ли модель OpenAI решила Задачу тысячелетия.

Реклама: АНО ДПО «Т-Образование», ИНН 7743270426, erid: 2W5zFG9YEVY