Агент GPT-6.1 Sol пометил 39 из 656 математических работ в онлайн-архиве arXiv как содержащие серьёзную ошибку в главной теореме
Агент GPT-6.1 Sol пометил 39 из 656 математических работ в онлайн-архиве arXiv как содержащие серьёзную ошибку в главной теореме
15 октября команда проекта MathArena опубликовала аудит 793 математических работ из онлайн-архива arXiv. Агент на GPT-6.1 Sol брал до пяти центральных теорем из каждой работы и искал контрпример — случай, где условия теоремы выполнены, а её вывод оказывается ложным.
В отчёте MathArena команда выбрала задачу, которую можно проверить по формулировке теоремы. Для каждой теоремы агент извлекал условия и определения, искал контрпример, а отдельный запуск проверял найденный случай. Затем агент сверял вывод с более поздней версией работы.
В выборке из 656 работ, впервые размещённых с января 2025 года по июль 2026-го, 39 получили категорию MAJOR. Она означает, что теорему можно сохранить лишь после существенного сужения условий или изменения вывода. Это 5,95% работ и 58 из 2 543 выбранных теорем. Для работ с новой версией поздний текст снимал или понижал серьёзность находки в половине случаев.
В когорте августа–сентября категория MAJOR встретилась у двух из 137 работ, или у 1,46%. Эти доли описывают разные выборки: авторы связывают разницу и со сменой состава работ, и с тем, что Sol может хуже находить ошибки в текстах, созданных с его помощью.
Открытая выгрузка содержит инструкции для агентов и отчёты по каждому случаю; её README называет категории модельными суждениями. Команда вручную проверила 20 находок, сравнила 75 серьёзных случаев с Opus 5.5 и повторно запустила Sol. Opus сохранил категорию MAJOR в 78,7% случаев, повторный запуск Sol — в 90%. На этой основе авторы оценивают долю ложноположительных серьёзных находок примерно в 10%; для каждой карточки в архиве можно сопоставить отчёт с исходной теоремой.