Как ИИ-агенты оспорили результаты сотен научных работ
Летом 2026 года Hugging FaceМеждународная платформа и сообщество ML-разработчиков, своего рода «GitHub для искусственного интеллекта». Там можно публиковать и скачивать модели и наборы данных, делиться демо приложений и совместно работать над проектами. совместно с сервисом для обсуждения научных публикаций alphaXiv провела хакатон ICML 2026 Open Reproductions. Его участники попытались воспроизвести результаты более двух тысяч работ, принятых на ICML — одну из ведущих конференций по машинному обучению. Используя для этой цели ИИ-агентовпрограммы на основе языковых моделей, способные самостоятельно писать код и запускать эксперименты, они нашли в статьях ошибки, которые пропустили рецензенты. Неужели искусственный интеллект способен проверять научные работы лучше человека? Пытаемся разобраться вместе с гендиректором Института AIRI Иваном Оселедцем и исследователем Yandex Research Иваном Рубачёвым.
В машинном обучении ведущие конференции — одни из главных и наиболее престижных площадок для публикации результатов. Издающиеся по итогам этих мероприятий сборники во многом играют ту роль, которую в других научных областях выполняют журналы: в них выходят полноценные статьи, прошедшие экспертный отбор. Но рецензирование не предполагает обязательного повторения всех экспериментов и не гарантирует отсутствия ошибок. Некоторые из них обнаруживаются уже после публикации и приводят к исправлению или отзыву работы — о подобных прецедентах в различных областях науки N + 1 пишет в рубрике «Научные закрытия».
Журналы обычно принимают рукописи круглый год, а ежегодные конференции устанавливают общий дедлайн: тысячи статей нужно оценить в сжатые сроки. На ICML в 2026 году подали более 24 тысяч работ, из которых приняли более шести тысяч. Насколько подробно удается их изучить — отдельный вопрос. Например, один из рецензентов принятой к участию в конференции статьи прямо признался, что не проверил все доказательства внимательно.
Чтобы обрабатывать растущий поток статей, требуется все больше квалифицированных рецензентов. При этом исследователи уже используют большие языковые модели для подготовки отзывов. О том, какие риски это создает для научной экспертизы, мы говорили еще в прошлом году в материале «Давай разберем тобою написанное».
Насколько рост числа заявок и использование ИИ влияют на качество рецензирования, эксперты оценивают по-разному. По мнению Ивана Оселедца, большое количество статей действительно сказывается на глубине рецензий, но серьезность проблемы не стоит преувеличивать. «Поверхностная рецензия отсеивает откровенно слабые или методологически несостоятельные работы — грубые ошибки видны сразу», — считает он. Основные трудности он связывает с усталостью рецензентов, конфликтами интересов и случайностью решений, но считает, что эти недостатки не мешают по-настоящему сильным идеям добиваться признания.
Иван Рубачёв оценивает изменения сдержаннее: «По моему опыту — а он во многом зависит от конкретной подобласти — качество рецензий на конференциях за последние годы принципиально не изменилось, несмотря на рост числа заявок. Рецензирование всегда было довольно шумнымто есть сопровождающимся значительным фактором случайности — прим. N + 1 способом оценки работы». Более существенную проблему исследователь видит в другом: количество статей растет значительно быстрее, чем число сильных работ. При этом научная жизнь не останавливается в ожидании решения рецензентов, уверен Рубачёв: «Бывает, что статья еще проходит рецензирование, а построенные на ней решения уже выигрывают профильные соревнования».
Технологии, которые ускоряют подготовку статей, могут помочь и с проверкой их результатов. В агентной системе языковая модель получает доступ к инструментам и действует поэтапно: составляет план, запускает вычисления, анализирует полученные данные и выбирает следующий шаг. Это позволяет поручить ей воспроизведение эксперимента по описанию в статье и сопоставление результатов с выводами авторов.
Такую возможность и решили испытать организаторы хакатона. Они предложили участникам вернуться к уже принятым работам ICML и с помощью агентов проверить конкретные научные утверждения. Вопрос состоял в том, насколько полезной окажется такая массовая перепроверка и что она позволит обнаружить за пределами обычного рецензирования.
С 15 июля по 2 августа 2026 года участники хакатона могли выбрать любую статью на ICML, дать своему ИИ-агенту доступ к ее тексту и проиндексированным организаторами утверждениям, после чего с его помощью попытаться воспроизвести работу и проверить эти утверждения. При этом несколько человек могли анализировать одну и ту же статью — организаторы это только приветствовали.
По итогам каждой попытки воспроизвести результат участники публиковали на Hugging Face электронный журнал, созданный с помощью Trackio — инструмента для записи хода экспериментов. В журнале сохранялись описание проделанной работы, запущенный код и полученные результаты. К нему можно было приложить подробную запись действий ИИ-агента.
Затем эти журналы анализировала языковая модель GLM-5.2, которая выступала в роли ИИ-судьи. Она оценивала представленные участниками свидетельства и присваивала каждому проверяемому утверждению один из четырех статусов:
К хакатону присоединился 1221 человек. Суммарно они проанализировали 2226 статей — примерно треть работ, принятых на ICML 2026, — и опубликовали 6816 журналов с описанием своих попыток. Причем выводы команд об одних и тех же статьях далеко не всегда совпадали.
По оценкам ИИ-судьи, хотя бы один заявленный результат удалось подтвердить в 1103 статьях. В 266 из них подтвердились все утверждения, которые организаторы выделили для проверки. Еще 632 работы воспроизвели частично: для проверки остальных результатов не хватило данных, но опровержений не было. Всего эксперименты хакатона подтвердили 3978 отдельных утверждений.
В 496 работах хотя бы одно утверждение было оспорено или признано опровергнутым. Для 49 статей ИИ-судья счел опровергнутыми все проверяемые утверждения. Особенно неоднозначными оказались результаты по 242 работам: разные команды пришли к противоположным выводам об одних и тех же утверждениях — одни подтвердили их, а другие опровергли.
Для 502 работ результаты удалось получить только в упрощенных экспериментах — в меньшем масштабе или на синтетических данных. Этого недостаточно, чтобы считать исходное исследование воспроизведенным. По 280 статьям вообще не удалось сделать определенного вывода: чаще всего участникам не хватало данных, весов моделей или других необходимых материалов.
Причем ручная перепроверка была скорее исключением: организаторы отдельно разобрали заявления 35 участников, сообщивших, что им удалось опровергнуть результаты статей. Когда ошибки подтверждались, организаторы связывались с авторами работ. Некоторые исследователи признали проблемы и начали вносить исправления.
«Результаты этого хакатона меня скорее порадовали и не сильно удивили, — говорит Иван Рубачёв. — Мне кажется, основные проблемы статей чаще связаны не с формальной воспроизводимостью конкретных экспериментов, а с качеством и аккуратностью самих утверждений, то есть с тем, насколько корректно результаты вписаны в контекст области».
Хакатон Hugging Face подкрепил разговор о воспроизводимости в машинном обучении конкретными данными. Ранее похожие проекты по повторению исследований проводили и в психологии, и в онкобиологии. Хотя причины невоспроизводимости в каждой области свои, одним из общих факторов может быть принцип publish or perish: публикационная система охотнее вознаграждает новые положительные результаты, нежели сообщения о том, что ожидаемый эффект не обнаружился. Подробнее о том, откуда взялся этот принцип и почему наука не спешит от него отказываться, читайте в материале «Графомания или смерть».
Однако у исследований в области ИИ есть важное преимущество. «Наши основные объекты существуют либо как код, либо как математические утверждения, а значит, их можно напрямую проверить и переиспользовать», — говорит Иван Рубачёв. Порой достаточно опубликовать код на GitHub или в блоге, чтобы ML-сообщество обсудило предложенный метод, проверило его и использовало в последующих работах.
Работу с кодом и математическими утверждениями можно частично поручить ИИ-агентам. Хакатон ICML 2026 Open Reproductions показал, что этот подход может сработать, хотя и с ограничениями.
Как отмечают сами организаторы хакатона, воспроизвести исследование проще, когда доступны код и данные, а повторение эксперимента не требует огромных вычислительных ресурсов. Если авторы использовали закрытые наборы данных или не опубликовали веса моделей, возможности агентов ограничены. В таких случаях участники могли проверить отдельные утверждения или провести упрощенный эксперимент, но полноценное воспроизведение оставалось недоступным. Само по себе это не означает, что исходное исследование ошибочно.
Ошибаются и агенты. Во время хакатона они застревали на повторении одних и тех же действий, неверно оценивали поведение алгоритмов при увеличении масштаба задачи и выдавали ложные опровержения из-за ошибок в собственных расчетах. По наблюдениям организаторов, надежнее всего работали команды, в которых человек направлял агента, проверял его предположения и вовремя замечал проблемы в постановке эксперимента.
«LLM могут быстрее находить ошибки в коде и замечать нюансы в доказательствах, а также проверять больше деталей. Поэтому пользы от таких систем все-таки больше, если процесс достаточно хорошо контролируется человеком», — говорит Иван Рубачёв. В качестве интересного подхода исследователь приводит предложение использовать ИИ в роли арбитра в спорах между авторами и рецензентами.
Отдельный вопрос — должно ли успешное воспроизведение стать обязательным условием работы. Иван Оселедец опасается, что такое требование поставит авторов в неравные условия: «Если сделать строгую воспроизводимость обязательным условием публикации, мы рискуем отсеивать не слабые идеи, а дорогие, то есть те, что требуют огромных вычислительных ресурсов для полной проверки».
При этом Оселедец подчеркивает, что минимальная воспроизводимость необходима: попытки повторить результат помогают обнаруживать фальсификации. Он предлагает сосредоточиться на сознательной подделке данных и намеренном введении коллег в заблуждение. Неидеально поставленный эксперимент, по его мнению, еще не повод отвергать перспективную идею: другие группы могут доработать метод, реализовать его на своей инфраструктуре и проверить в новых условиях.
Оселедец также предлагает поручать агентам поиск противоречий, сверку чисел с графиками и проверку ссылок — это позволит людям уделять больше внимания научной ценности исследования. «Оценка потенциала идеи требует интуиции и широкого научного контекста, который у моделей пока ограничен и который, по сути, и есть главная ценность процесса», — говорит он.
Полностью заменить рецензентов агенты, по мнению обоих экспертов, пока не смогут.