Ученые проверили агенты больших языковых моделей на 50 задачах теоретической физики с известными ответами
Лучший агент получил точность 98 процентов
Физики представили набор из 50 неопубликованных исследовательских задач по теоретической физике с проверяемыми ответами и протестировали способность ИИ-агентов решить их автономно, без подсказок человека. Лучшим агентом стал Codex модели GPT-6 Astra, который верно решил 49 задач. Препринт исследования доступен на arXiv.org.
Это простая для понимания новость, разобраться в общих чертах сможет даже школьник. Допустим, простые заметки про нейросети и задачи по физике вам понятны, а как насчет математики, которая необходима во всех точных науках? Углубиться в ее изучение поможет Т-Образование. А если вы только начинаете этот путь или думаете о том, чтобы выбрать его для ребенка, первым шагом может стать Московская школа программистов.
Хотите увеличить сложность? Научим.
В теоретической физике всегда высоко ценили умение решать конкретные задачи, которые требовали от исследователя знакомства с текущей литературой и владения сложными вычислительными методами. В российской научной школе известным примером стал теорминимум Льва Ландау, который сегодня состоит из 11 экзаменов (два по математике и девять по теоретической физике — от механики до физической кинетики). О том, как возник теорминимум и какое место он занял в обучении некоторых физиков-теоретиков, можно прочесть в нашем материале «Ботай, как Ландау».
Недавно OpenAI проверила свою внутреннюю модель на сложных математических задачах, получив 372 новых решения (в том числе проверку числа пять в качестве хроматического числа плоскости). И хотя несколько решений позже «отозвали», пометив их неверными из-за ошибки в знаке, исследователи продолжают проверять возможности современных больших языковых моделей на примере сложных и неочевидных задач.
Ученые из шести стран под руководством Суврата Раджу (Suvrat Raju) из Международного центра теоретических наук в Бангалоре проверили, смогут ли агенты автономно решить набор исследовательских задач по теоретической физике, которые близки к сложным математическим проблемам и не требуют экспериментальной проверки на дорогостоящем оборудовании.
Для этого авторы работы отобрали 50 задач из разных областей теоретической физики, включая классическую физику, стохастические процессы, решеточную и квантовую теории поля, гравитацию, а также космологию. Каждую задачу ученые снабдили проверяемым ответом в виде символьного выражения или численного значения, которое нельзя угадать. Затем исследователи запустили агентов в двух режимах: реалистичном, где им разрешили поиск литературы в интернете и локальные инструменты (например, скрипты для символьных вычислений), и изолированном, где оставили только локальные инструменты.
Одной из 50 проблем стала задача об исчезновении информации в черной дыре в четырехмерном Антидеситтеровском пространстве (AdS4): по сути агент должен был найти уже существующую работу, в которой похожая задача уже решена для пятимерного пространства, адаптировать найденное решение для четырех измерений и написать скрипт для численного поиска ответа. Другой проблемой стала задача о пограничном слое на плоской пластине при числе Рейнольдса 1,6 × 105, которую можно решить «в лоб», обсчитав трехмерное уравнение Навье – Стокса и получив характерный поперечный масштаб возмущений.
В реалистичном режиме Codex (модели GPT-6 Astra) получил точность 98 процентов, то есть верно решил 49 задач из 50. Модель Opus 5.5 с Claude Code CLI достигла 92 процентов, Gemini 3.8 Flash с Antigravity получил 68 процентов. При этом открытые модели отстали в успешности решения более заметно: DeepSeek-V4.1 Flash получил 54 процента, GLM 5.3 — 42 процента. В изолированном режиме результаты всех LLM оказались хуже: Astra и Opus получили по 92 процента успешно решенных задач, Gemini — 62 процента, GLM — 52 процента, а DeepSeek — 50 процентов. Такое незначительное снижение качества между реалистичным и изолированным режимами авторы работы объяснили тем, что большая часть литературы уже была в памяти моделей, попав туда во время обучения.
Во время реалистичного теста Codex ошибся только в одной задаче, где составители потребовали найти автономную систему дифференциальных уравнений по заданной кривой. Ученые отметили, что эту проблему не решили и все остальные агенты. В изолированном режиме Codex ошибся еще в трех задачах, включая две, которые агент ошибочно отверг как неразрешимые. Opus в реалистичном режиме допустил больше ошибок: например, в задаче о пограничном слое агент использовал начальные условия из другой работы, которые не совпали с постановкой исходной задачи, а во время решения другой проблемы Opus сделал неверный вывод о скорости сходимости бесконечного ряда.
Авторы работы отметили, что протестированные модели не продемонстрировали способность динамически менять направление исследования. Другими словами, при столкновении с объемным и сложным вопросом агенты не попытались переформулировать проблему или переключиться на разбор схожей и не менее интересной задачи, как это сделал бы человек. К такому выводу ученые пришли во время общения с агентами вне тестов, но не подтвердили свои наблюдения численными данными. Исследователи подчеркнули, что человеческие эксперты все еще необходимы, чтобы направлять агентов и ставить перед ними цели.
От редактора
Автор этой заметки считает себе физиком (по крайней мере, может самостоятельно и спалить осциллограф, и потерять минус в выкладках, и положить вычислительный кластер во время моделирования), но не испытывает беспокойства от написанной новости. Во-первых, набор задач хоть и впечатляет, но по сути отличается сложностью от теорминимума Ландау лишь на пару порядков. Во-вторых, проблемы, на которых протестировали агентов, не были открытыми. Однако эта новость примечательна тем, что гипотетически может стать началом более интересной истории, которая сейчас разворачивается в математике. В конце концов, когда ИИ сможет самостоятельно обратить внимание на то, как булькает бутылка, или почему идеальный соус для пасты сложнее, чем кажется, и описать это, тогда можно будет говорить о значимом прорыве в области физики.
Мы уже разбирали в нашем материале «Какие ваши доказательства», как модель OpenAI, возможно, решила задачу тысячелетия и какие это может иметь последствия для математического сообщества.
Реклама: АНО ДПО «Т-Образование», ИНН 7743270426, erid: 2W5zFGNHzX3