Sakana AI выпустила The Agentic Scientist: исследователь задаёт правила опыта, а агенты ищут гипотезы и пишут код
Sakana AI выпустила The Agentic Scientist: исследователь задаёт правила опыта, а агенты ищут гипотезы и пишут код
15 октября 2026 года Sakana AI опубликовала код и предварительную научную статью о системе для вычислительных исследований, где результат измеряет программа. Исследователь превращает вопрос в задание с заранее заданным способом проверки; параллельные агенты перебирают варианты, а система сохраняет код, журналы запусков и измерения для статьи.
В The Agentic Scientist исследователь сначала задаёт исходную программу, правила допустимого решения и программу проверки, которая измеряет результат. Программа-координатор раздаёт ограниченный вычислительный бюджет параллельным кодовым агентам. Каждый агент работает в отдельной папке: предлагает гипотезу, меняет код, запускает вычислительный опыт и сохраняет результаты для следующих этапов поиска.
Затем авторы сравнивают лучший вариант с исходным и проводят абляции: по очереди отключают части метода, чтобы измерить вклад каждой. В препринте авторы описывают 70 серий поисковых запусков на пяти задачах машинного обучения: девять языковых моделей работали с четырьмя программами, которые организуют действия агентов. В этих запусках выбор языковой модели влиял на результат сильнее, чем программа-организатор. При подготовке статьи система сопоставляет каждое утверждение с кодом, журналом запуска, измерением или сравнением; затем рукопись оценивал ИИ-рецензент.
Авторы связывают нынешний дизайн с уязвимостями раннего AI Scientist. В независимом разборе версии 2024 года пять из двенадцати предложенных опытов завершились ошибкой в коде, а в четырёх из семи сгенерированных рукописей нашли неверные или выдуманные числа. Новая схема сохраняет журналы запусков, базовые сравнения, абляции и карту доказательств, чтобы человек мог проследить путь к выводу.
Программу, которая проверяет опыты, тоже приходится проверять: во внутреннем тесте Google, где агенты решали исследовательские задачи часть заданий оказалась невыполнимой из-за дефектов программы проверки, поэтому оценка смешивала ошибку агента с ошибкой измерителя. В кейсе Error Diffusion человеческая проверка остановила высоко оценённый вариант, потому что он нарушил задуманное правило обучения.
Error Diffusion обучает нейросеть так: сигнал ошибки с её выхода идёт прямо к скрытым слоям. В этой работе люди задали вопрос, исходное сравнение и правила проверки; агенты предлагали гипотезы, меняли программу, запускали опыты и разбирали неудачи. После человеческой проверки авторы отправили работу на внешнее рецензирование, а программа конференции ALIFE 2026 включила «Diffusing Blame» в устный доклад 18 августа.
В этой схеме исследователь формулирует вопрос, утверждает условия опыта и проверяет результаты, ссылки и окончательные утверждения. Агенты перебирают варианты, а журналы запусков и сравнения позволяют человеку проследить путь к выводу.