Дополнительные материалы к препринту о бенчмарке гипотез

Основной текст: препринт. Нумерация приложений продолжает нумерацию основного текста; приложение А с примером пяти гипотез осталось в основном тексте. Все отобранные гипотезы с эталонными утверждениями и баллами судей приведены в таблице S.

Приложение Б. Инструкции предикторам§

Ниже приведены английские тексты содержательных запросов, использованные в опытах. На месте полей в квадратных скобках подставляли полный текст задания и гипотез. Полные записи запросов для каждой модели доступны в опубликованных материалах, перечисленных в разделе «Доступность данных и кода».

Б.1. Подробная инструкция

Системная инструкция:

You advise researchers which causal hypotheses deserve experimental testing in the biology of ageing.
Use only the supplied background, research question, hypothesis text and your prior scientific knowledge. You have no tools or internet access. Experimental outcomes are unknown to you.
Forecast experimental support for each hypothesis's own causal claim in its stated biological system. Return a complete JSON object in this reply.

Сообщение пользователя:

BACKGROUND
[BACKGROUND]

RESEARCH QUESTION
[RESEARCH QUESTION]

CANDIDATE HYPOTHESES
[H1] [FULL HYPOTHESIS 1]

[H2] [FULL HYPOTHESIS 2]

[H3] [FULL HYPOTHESIS 3]

[H4] [FULL HYPOTHESIS 4]

[H5] [FULL HYPOTHESIS 5]

Assess EVERY hypothesis independently. Several different mechanisms may be supported, and none may be supported. There is no required number of recommendations and no requirement to recommend one hypothesis per question.

For each hypothesis estimate p_experimental_support between 0 and 1: your probability that a well-controlled discriminating experiment, competently performed in the species, tissue and scope stated in the hypothesis, would support its central causal claim. Evaluate that claim itself, including a plausible alternative mechanism. This is a subjective scientific forecast, not an observed frequency. If the supplied information cannot justify any numerical estimate, return null and explain the missing information.

Give recommend_for_testing as a separate boolean: would you advise a researcher to spend experimental resources testing this hypothesis now, given its scientific support, testability, assumptions and contradictions? You may recommend multiple hypotheses or none. A recommendation is not a guarantee of success. A numerical estimate is required for a positive recommendation. The comparison will retain your recommendation exactly as issued.

Use the existing scientific considerations: a specific causal chain; consistency with established biology; a feasible discriminating test; fit to the stated question and system; few unsupported assumptions. Novelty is descriptive and is not evidence for or against a claim. Ignore prose style, length, tone, gene-name density and the anonymous candidate order. Do not guess the contents of an undisclosed article or predict another evaluator's score.

Provide a short scientific justification. Quote only literal fragments of the supplied BACKGROUND in support_from_background, or use an empty array. Keep additional assumptions and contradictions separate. Name a concrete intervention, measured readout and necessary controls, and specify outcomes supporting and refuting the claim. These are proposed observations, not results you have seen. Do not announce research, search for information or describe work you will do later; give the complete forecasts now.

Return exactly this structure, with every supplied candidate once:
{"protocol":"experimental-support-v1","forecasts":[{"id":"H1","p_experimental_support":0.5,"recommend_for_testing":false,"support_from_background":[],"assumptions":[],"contradictions":[],"reason":"Short justification","test":{"intervention":"...","measurement":"...","controls":"...","supports_if":"...","refutes_if":"..."}}]}

Б.2. Короткий вопрос для пяти гипотез

Системная инструкция:

Return a JSON object.

Сообщение пользователя:

For each hypothesis below, will it be confirmed experimentally?

BACKGROUND
[BACKGROUND]

RESEARCH QUESTION
[RESEARCH QUESTION]

HYPOTHESES
[H1] [FULL HYPOTHESIS 1]

[H2] [FULL HYPOTHESIS 2]

[H3] [FULL HYPOTHESIS 3]

[H4] [FULL HYPOTHESIS 4]

[H5] [FULL HYPOTHESIS 5]

Return a JSON object with a "forecasts" array. For each hypothesis include its "id" and a boolean "confirmed".

Б.3. Короткий вопрос для одного утверждения

Системная инструкция:

Return a JSON object.

Сообщение пользователя:

Will this hypothesis be confirmed experimentally?

HYPOTHESIS
[H000000000001] [FULL HYPOTHESIS]

Return a JSON object with a "forecasts" array containing this hypothesis's "id" and a boolean "confirmed".

Приложение В. Более строгое правило соответствия статье§

Положительный исход регистрировали, если не менее двух из трёх судей других компаний дали гипотезе 4 или 5 баллов. В каждой ячейке указаны процент, числитель/знаменатель и 95 % доверительный интервал (ДИ), рассчитанный по 10 000 повторных выборок задач. Доли гипотез, соответствующих статье по этому правилу, рассчитывали отдельно от долей по основному правилу с баллами 3–5.

Если во всём наблюдаемом наборе нет гипотез, соответствующих статье, процентильный метод при повторных выборках даёт вырожденный интервал 0,0–0,0. Такой интервал отражает состав наблюдаемого набора и не позволяет оценить верхнюю границу частоты гипотез, соответствующих статье, в новых задачах.

Приложение Г. Полные показатели сравнения инструкций§

Для каждой пары подходов приведены четыре показателя прогноза, рассчитанные на одних и тех же гипотезах. Состав этих общих наборов совпадает с указанным в таблице 4. Для всех показателей приведены 95 % ДИ. Отрицательным исходом считали отсутствие соответствия статье.

В расширенном опыте подробную инструкцию также получили дополнительные версии Claude. Для каждого предиктора показатели рассчитаны по полному набору пригодных данных, поэтому знаменатели могут отличаться от приведённых в таблице парных сравнений. В таблицу включены предикторы с пригодными ответами.

Приложение Д. Ранний прогноз на 2997 гипотезах§

Исход определяли для каждой гипотезы независимо от способа её генерации. Положительный исход регистрировали, если большинство судей дали гипотезе балл не ниже 3. В строке собственного прогноза приведён ответ модели, сгенерировавшей гипотезу. Для правил большинства и единогласия учитывали собственный прогноз и ответы всех доступных для данной гипотезы внешних предикторов; их число зависело от генератора. Для рукописи интервалы пересчитали методом повторной выборки 50 задач, сохраняя все гипотезы каждой выбранной задачи. Эти описательные результаты получены при внутренней разработке правила.

Приложение Е. Полные интервалы двухэтапного отбора§

Использованы те же исходные наборы и определения исходов, что и в таблице 7. Интервалы рассчитаны по 10 000 совместных повторных выборок целых задач с начальным числом 20261026. Для группы предикторов и случайного контроля использованы одинаковые формулы и знаменатели.

Приложение Ж. Списки одинакового размера из прогнозов отдельных моделей§

Этот расчёт проверяет, сколько соответствующих статье гипотез осталось бы, если случайно сократить рекомендации одной модели до размера списка группы предикторов. Например, на гипотезах Grok GPT-6 Astra дала 53 положительных прогноза, из них статье соответствуют 25. При случайном выборе 19 из этих 53 гипотез среднее число соответствующих статье равно 8,96 (47,2 % списка), центральный 95 % диапазон составляет 6–12. Группа предикторов выбрала 14 соответствующих гипотез из 19 (73,7 %; приложение Н.6).

В таблице ниже для каждого генератора и каждой модели показаны исходная группа положительных прогнозов, размер случайного списка и его ожидаемый результат. Внутри группы все гипотезы имеют одинаковую вероятность выбора, повторное включение одной гипотезы исключено. Строка «Весь набор» повторяет исходный случайный контроль таблицы Н.6. Диапазоны рассчитаны по точному распределению при фиксированных гипотезах и судейских оценках. Эти дополнительные расчёты описывают результат ранее выбранного правила на тех же данных.

Приложение З. Доля верных прогнозов в наборе 50/50§

В исходном протоколе основным показателем названа сбалансированная точность: половина суммы чувствительности и специфичности. В этом наборе она равна доле всех верных прогнозов, поскольку подтверждённых и опровергнутых утверждений поровну. Номинальные 95 % ДИ сохранены из отчёта и рассчитаны по 10 000 повторных выборок статей с обоими утверждениями. У единогласия ответ «да» получают только утверждения с пятью положительными прогнозами, остальные получают итоговый ответ «нет». Поэтому высокая доля подтверждённых утверждений среди выбранных единогласно сочетается с пропуском многих подтверждённых утверждений и более низкой общей долей правильных ответов.

Приложение И. Поисковый запрос и журнал отбора публикаций§

Запрос сохранён в исходной выгрузке от 13 октября 2026 года. Поле edat задаёт дату поступления записи в PubMed; пригодность самой статьи дополнительно проверяли по дате первой публичной версии и препринтам.

(aging[MeSH Terms] OR ageing[tiab] OR aging[tiab] OR longevity[tiab] OR lifespan[tiab] OR senescence[tiab] OR healthspan[tiab]) AND ("Nature"[ta] OR "Science"[ta] OR "Cell"[ta] OR "Nat Aging"[ta] OR "Cell Metab"[ta] OR "Nat Med"[ta] OR "Nat Cell Biol"[ta] OR "Cell Stem Cell"[ta] OR "Aging Cell"[ta] OR "Nat Commun"[ta] OR "Sci Adv"[ta] OR "Proc Natl Acad Sci U S A"[ta] OR "Mol Cell"[ta] OR "Immunity"[ta] OR "Neuron"[ta]) AND journal article[pt] NOT review[pt] NOT clinical trial[pt] AND ("2026/08/01"[edat] : "2026/10/12"[edat])

Сохранённая последовательность содержит 284 найденные записи, 72 исключения предварительного фильтра и 212 предварительно пригодных кандидатов; окончательный набор содержит 50 задач. Промежуточные журналы извлечения обновлялись в ходе замен, поэтому число всех сохранившихся записей со статусом «принято» не является отдельной последовательной ступенью отбора. Оно не использовалось для восстановления причин исключения остальных 162 кандидатов. Идентификаторы окончательных задач, порядок 212 кандидатов, причины 72 предварительных исключений и контрольные суммы исходных файлов доступны в журнале отбора. Отбор по пригодности задания и проверке скрытия результата ограничивает представительность набора.

Приложение К. Согласие судей в бинарных голосах о соответствии статье§

Голос судьи считали положительным, если судья поставил гипотезе балл не ниже порога: 3 для основного исхода, 4 для более строгого. В первой таблице четыре судьи сравниваются попарно на 2997 гипотезах, полученных при генерации. Сюда входят и оценки судьи из компании-разработчика генератора; при определении исхода их исключали. Первым и вторым судьёй в названиях столбцов обозначены судьи в порядке их перечисления в первом столбце. Числа гипотез и доля совпавших голосов относятся к голосу «балл 3 и выше». Каппа Коэна равна 1 при полном совпадении голосов и 0 при совпадении на уровне, ожидаемом для независимых голосов с теми же долями положительных голосов каждого судьи. Взвешенная каппа с квадратичными весами сравнивает баллы по всей шкале 0–5. Доверительные интервалы (95 % ДИ) рассчитаны по 10 000 повторных выборок 50 задач.

Во второй таблице для каждой гипотезы учтены только три судьи других компаний, голоса которых определяли её исход. Исход положительный, если балл из первого столбца поставили два или три судьи. Каппа Флейса обобщает каппу Коэна на трёх судей.

Приложение Л. Дополнительные расчёты отбора и прогнозов§

Расчёты выполнены по сохранённым отчётам опытов без новых вызовов моделей. Интервалы получены по 10 000 повторных выборок целых задач с начальным числом 20261030. Методы описаны в разделе 2.10 и приложении М.6.

Л.1. Ранжирование гипотез по численной вероятности подтверждения

Расчёт относится к 250 гипотезам GPT-6 Astra, полученным одним запросом, и к вероятности, которую предиктор указывал по подробной инструкции. AUC равна вероятности того, что соответствующая статье гипотеза получит более высокую оценку, чем не соответствующая; совпадающие оценки учитываются с весом 0,5. Точность первых k приведена как ожидаемое число соответствий к размеру списка: при совпадающих вероятностях на границе списка ожидание рассчитано по доле соответствий внутри группы с одинаковой вероятностью. Доля соответствий в исходном наборе составляет 14,4 % (36/250).

Двухэтапное правило применено к тем же гипотезам по сохранённым ответам четырёх предикторов на короткий вопрос. Ответы всех четырёх получены для 245 гипотез 49 задач; из них правило отобрало 22, статье соответствовали 50,0 % отобранных (11/22; 95 % ДИ [30,0; 70,4]) при исходной доле 14,7 % (36/245), отношение 3,40 (95 % ДИ [2,26; 4,95]). Ниже этот список сравнивается с первыми 22 гипотезами ранжирования по вероятности на тех же 245 гипотезах. Гипотезы без численной вероятности в ранжирование не входили. Разность рассчитана как доля соответствий двухэтапного правила минус доля соответствий ранжирования; значение p получено перестановкой двух списков внутри задач с поправкой Холма на семь предикторов.

Л.2. Группа предикторов против лучшей одиночной модели при одинаковой длине списка

Лучшей одиночной моделью считали предиктора с наибольшей долей соответствующих статье гипотез среди его положительных прогнозов. Случайное сокращение его списка до длины списка группы сохраняет ожидаемую долю соответствий, поэтому сравниваются доли. Значение p получено перестановкой двух правил внутри каждой задачи с поправкой Холма на четыре набора. Правило выбрано на гипотезах Grok, а оба правила опираются на одни и те же прогнозы.

Л.3. Отбор без предиктора компании генератора

Из группы исключён предиктор той компании, которая разработала модель-генератор; первый этап и требование единогласия остальных сохранены. Последний столбец повторяет результат полной группы из таблицы 7.

Л.4. Решения внутри пар набора 50/50

Каждая статья набора дала одно подтверждённое и одно обращённое утверждение. Столбцы перечисляют четыре возможных решения модели по паре. Сумма четырёх столбцов равна числу пар.

Правило «эффект в благоприятную сторону» присвоило метку 61 утверждению из 100. Доля верных ответов приведена отдельно для размеченных и неразмеченных утверждений.

В 20 парах правило разметило оба утверждения. Решения правила, моделей и случайного контроля на этих парах приведены ниже; правило принимает утверждение с меткой «благоприятное» и отвергает утверждение с меткой «неблагоприятное».

Л.5. Обогащение при строгом критерии

Строгий критерий требует балла 4 или 5 от большинства судей. Отношение рассчитано как доля соответствий среди отобранных гипотез, делённая на долю соответствий в исходном наборе при том же критерии; списки отбора не менялись.

Л.6. Оригинальность, осуществимость и ясность отобранных и исключённых гипотез

Каждой отобранной гипотезе сопоставлена исключённая гипотеза той же задачи. Балл гипотезы равен среднему трёх судей других компаний по шкале 1–10. Разность рассчитана как отобранная минус исключённая; интервалы получены по 10 000 повторных выборок задач.

Связь отбора с соответствием статье при учёте ясности оценена логистической регрессией на 119 гипотезах этого сравнения: 60 отобранных и 59 исключённых. Исход равен 1, если гипотеза соответствует статье по основному критерию. Ясность и осуществимость равны среднему баллу трёх судей и центрированы по среднему 119 гипотез. Статье соответствовали 37 из 60 отобранных и 15 из 59 исключённых гипотез. Интервал Вальда и p рассчитаны по стандартным ошибкам с кластеризацией по 58 сочетаниям генератора и задачи; отдельный столбец содержит процентильный интервал по 10 000 повторных выборок этих сочетаний.

Л.7. Повторный запуск прогнозов

Сравнение охватывает гипотезы, получившие прогнозы в обоих запусках. Каппа Коэна (κ) рассчитана для решений «да» и «нет» каждой модели. Доля соответствий в исходном запуске приведена для тех же гипотез, поэтому её знаменатель может отличаться от таблицы 7.

Л.8. Лексическая проверка ключевых элементов

Элемент эталонного утверждения считался названным, если не менее двух третей его содержательных слов встречались в тексте гипотезы. Расчёт охватывает 1000 гипотез, полученных одним запросом. AUC показывает, насколько доля названных элементов различает гипотезы, соответствующие и не соответствующие статье по решению судей; интервал рассчитан по 10 000 повторных выборок задач. Среди 60 гипотез, отобранных двухэтапным правилом, у соответствующих статье названо в среднем 17,3 % элементов, у остальных 6,1 %; хотя бы два элемента названы у 6 из 37 соответствующих и у 2 из 23 остальных гипотез.

Приложение М. Дополнительные сведения о методах§

М.1. Условия запуска моделей

Лимит токенов задан на одно обращение к модели и включает рассуждение и ответ. Число попыток означает, сколько раз запрос повторяли, если ответ не удавалось разобрать или модель отказывалась отвечать.

М.2. Распределение голосов и согласие судей по всей шкале

Балл 3 и выше поставили все три судьи 263 гипотезам, два судьи из трёх 95 гипотезам, один судья 188 гипотезам, ни один судья 2451 гипотезе. Решение большинства по 283 гипотезам изменилось бы при смене одного голоса: 95 гипотез признаны совпадающими двумя голосами из трёх, 188 признаны несовпадающими при одном голосе «за». Границы 95 % ДИ каппы Коэна для голоса «балл 3 и выше» в отдельных парах судей находились в пределах 0,64–0,81.

Взвешенная каппа с квадратичными весами учитывает расхождения по всей шкале 0–5, в том числе внутри диапазонов 0–2 и 3–5, при которых исход при основном пороге не меняется. Для каждой пары судей она была ниже каппы Коэна для голоса «балл 3 и выше» и составляла 0,38–0,68; ранговая корреляция Спирмена между баллами составляла 0,57–0,66. Значения для каждой пары судей приведены в приложении К.

М.3. Случайный контроль и случайные списки одинаковой длины

Случайные ответы получали функцией crypto.randomInt среды Node.js для набора из 2997 гипотез, наборов двухэтапного отбора и повторной генерации Claude Opus 5.5 и функцией crypto.randomBytes для набора из 250 гипотез GPT-6 Astra и набора 50/50. В раннем вычислительном эксперименте на 2997 гипотезах использовали отдельную записанную последовательность, содержавшую 1477 ответов «да».

Для контроля длины списка рассматривали равновероятный выбор без повторения ровно стольких различных гипотез, сколько отобрала группа моделей: 19 из 240 гипотез Grok, из которых 40 совпадают с эталоном, 19 из 250 гипотез Gemini и 22 из 250 гипотез Opus. Программа рассчитала точное гипергеометрическое распределение числа совпадений в таком списке, его среднее и центральный 95 % диапазон; среднее дополнительно проверили по 100 000 случайных значений из этого распределения. Расчёт использует размер набора, число совпадающих гипотез в нём и длину списка; идентификаторы гипотез для симуляций не выбирали.

Для сравнения с отдельной моделью положительные прогнозы этой модели случайно сокращали до длины списка группы. Например, среди гипотез Grok ответ «да» от GPT-6 Astra получили 53 гипотезы, из них 25 совпадают с эталоном; рассчитывали результат случайного выбора 19 из этих 53. Контроль выполнили для каждой из четырёх прогнозирующих моделей и каждого генератора; внутри группы «да» всем гипотезам давали равные шансы, поскольку бинарные ответы задают только группы «да» и «нет». Результаты приведены в приложении Ж.

М.4. Перебор правил отбора

В переборе 80 правил голосования на гипотезах Grok для каждого сочетания из k моделей проверяли все k требований к числу ответов «да»: 5 правил для отдельных моделей, 20 для пар, 30 для троек, 20 для четвёрок и 5 для полного состава. Итоговое единогласие четырёх моделей входит в эти 80 правил.

В 32 двухэтапных схемах на втором этапе было достаточно хотя бы одного ответа «да». В 22 схемах модель первого этапа входила в группу второго, и её ответа «да» уже было достаточно для прохождения второго этапа; эти схемы повторяли отбор одной моделью, остальные 10 задавали дополнительные правила. Подсчёт относится к этим двум переборам на гипотезах Grok; разработка инструкций на более ранних этапах в него не входит.

М.5. Изоляция исходной генерации Claude Opus 5.5

Скрипт бенчмарка запрашивал отключение инструментов, однако до исправления 21 октября этот параметр терялся при потоковой передаче запроса. Журналы запросов за 13–18 октября не сохранились. Эту конфигурацию воспроизвели 27 октября с той же версией программного обеспечения и теми же настройками: модель получила задание открыть веб-страницу, выполнить веб-поиск и прочитать файл заданий с эталонами. Все пять попыток модели обратиться к инструментам были отклонены; веб-поиск и загрузка страниц не выполнялись.

При повторной генерации 27–28 октября каждый из 792 успешных запросов сопоставили с сохранённой записью, подтверждающей отключение инструментов, и с журналом вызовов. Гипотезы оценили те же три судьи других компаний с той же инструкцией. Если во всех попытках классификатор безопасности Claude обрывал ответ и гипотез не оставалось, набор засчитывали как отказ: пять несовпадающих гипотез. Набор многоступенчатой схемы задачи R42736449 не был запущен 27 октября: число сгенерированных токенов этого набора выравнивается по Omega Point той же задачи, а скрипт не распознал отказ Claude в Omega Point. После исправления скрипта набор получили 28 октября.

М.6. Статистические процедуры

Начальные значения. Интервалы генерации рассчитаны с начальным значением 20261025; интервалы двухэтапного отбора и случайного контроля на тех же гипотезах (таблицы 6 и 7, приложение Е) — с начальным значением 20261026. Эти интервалы заменили интервалы исходных отчётов, рассчитанные по 2000 повторных выборок. Анализы чувствительности и анализ подсказок рассчитаны с начальным значением 20261027, интервалы AUC — с 20261030. Сравнение генераторов на 48 общих задачах выполнено по 10 000 совместных повторных выборок.

Семейство из 150 сравнений оригинальности. Пять показателей: оригинальность, техническая осуществимость, ясность, различие двух идей одного ответа и общий балл как среднее этих четырёх оценок. Для каждого показателя сравнивали три пары способов генерации внутри каждой из четырёх моделей (4 × 3 × 5 = 60) и шесть пар моделей внутри каждого из трёх способов (6 × 3 × 5 = 90). При каждом парном сравнении использовали общих судей, исключая судей компаний обеих моделей. Поправку для отдельных судей и всех судей вместе рассчитывали отдельно; в семейство из 150 сравнений эти варианты не входят.

Анализы чувствительности. Долю совпадений при генерации одним запросом и итоговый отбор пересчитали на заданиях с оценкой подсказки 0 или 1. Итоговый отбор пересчитали также при поочерёдном исключении каждого судьи; положительный исход тогда требовал балла 3 и выше от обоих оставшихся судей. Списки отбора не меняли. Генерацию Opus без наборов с отказом Claude пересчитали с параметрами основного анализа и поправкой Холма на три внутримодельных сравнения.

Ранжирование по вероятности. Для 250 гипотез, которые Astra сгенерировала одним запросом, для каждой прогнозирующей модели с подробной инструкцией рассчитали AUC вероятности подтверждения и долю совпадений среди первых k гипотез ранжирования при k = 19–22, что отвечает длине итоговых списков двухэтапного отбора. При равных вероятностях на границе списка ожидаемое число совпадений считали по доле совпадений внутри этой группы. Двухэтапное правило применили к сохранённым ответам четырёх моделей на короткий вопрос для 245 гипотез 49 задач и сравнили его список с первыми k гипотезами ранжирования каждой модели, где k равно длине списка правила. Разность долей оценивали перестановкой двух списков внутри задач с поправкой Холма на семь моделей.

Сравнение с лучшей одиночной моделью. Лучшей считали модель с наибольшей долей совпадений среди её прогнозов «да». Случайное сокращение её списка до длины списка группы сохраняет ожидаемую долю совпадений, поэтому сравнивали сами доли. Двустороннее p получали перестановкой двух правил внутри каждой задачи: при малом числе различающихся задач полным перебором, иначе 19 999 случайными перестановками с добавлением единицы в числитель и знаменатель; к четырём наборам применили поправку Холма. Список группы входит в прогнозы «да» её участников, поэтому сравниваемые правила зависимы.

Отбор без модели компании генератора. Из группы исключали прогнозирующую модель компании, разработавшей генератор, и требовали единогласия трёх оставшихся при том же первом этапе.

Решения внутри пар набора 50/50. Для каждой статьи проверяли, приняла ли модель подтверждённое утверждение и отвергла ли опровергнутое. Контроль «эффект в благоприятную сторону» задан детерминированным правилом по тексту утверждения: направление изменения определялось по глаголу и знаку измеряемого показателя для организма. Утверждения с показателями без общепринятого знака правило оставляло без метки; экспериментальные метки в разметке не участвовали. Точность моделей рассчитали отдельно для размеченных и неразмеченных утверждений.

Обогащение при строгом пороге. Рассчитывали отношение доли совпадений среди отобранных к доле в исходном наборе при том же пороге; интервал получен по тем же повторным выборкам задач.

Лексическая проверка ключевых элементов. На 1000 гипотезах, полученных одним запросом, элемент эталона считали названным, если не менее двух третей его содержательных слов встречались в тексте гипотезы. Проверка распознаёт совпадение слов и не засчитывает пересказ. Связь доли названных элементов с решением судей оценивали по AUC и по отношению шансов для хотя бы одного названного элемента; интервалы получены по 10 000 повторных выборок задач. Судейскую оценку эта проверка не заменяет.

Повторный запуск прогнозов. 30 октября четыре прогнозирующие модели повторно получили побайтово те же запросы, что 23 октября: когорты, ответы случайного контроля и все 600 единиц запроса совпадают. Изоляцию каждого запроса проверили по журналу вызовов и записям об отключённых инструментах; одна модель работала одновременно на трёх наборах, и журнал сверяли с учётом этих одновременных запусков. Повторяемость оценивали по доле совпавших решений, каппе Коэна и числу гипотез, отобранных в обоих запусках.

Оригинальность отобранных и исключённых гипотез. Каждой отобранной гипотезе сопоставили одну исключённую гипотезу той же задачи, выбранную по хэшу. Обе гипотезы оценили три судьи других компаний по запросу эксперимента с оригинальностью: оригинальность, осуществимость и ясность по шкале 1–10, по одной гипотезе в запросе, без сведений об отборе. Баллы трёх судей усредняли; разность «отобранная минус исключённая» оценивали по 10 000 повторных выборок задач и перестановкой знаков внутри задач (19 999 перестановок) с поправкой Холма на три показателя. Связь отбора с совпадением при учёте ясности оценили логистической регрессией совпадения при основном пороге на 119 гипотезах; независимыми переменными служили принадлежность к отобранным и средний балл ясности, стандартные ошибки рассчитаны с кластеризацией по задачам.

Степень подсказки. Доли совпадений четырёх генераторов при генерации одним запросом усредняли для каждой задачи; единицей анализа служила задача (50 задач, 1000 гипотез). Двусторонние p рассчитаны по абсолютной величине корреляции при 99 999 перестановках оценок вопросов между целыми задачами с добавлением единицы в числитель и знаменатель. Доверительные интервалы получены по 10 000 повторным выборкам целых задач с пересчётом рангов. Разведочные проверки включали совместную оценку вопроса и исходных сведений, другие режимы генерации, альтернативные оценки пограничных вопросов и исключение ранее обсуждавшихся примеров. Разметка, данные и параметры приведены в отчёте о подсказках в заданиях; прогнозы моделей в этом анализе не использовали.

М.7. Порядок рассмотрения кандидатов

Кандидатов упорядочивали по хэшу SHA-256 строки omega-creativity-2026-10-11, соединённой с идентификатором PubMed. Сохранённый порядок 212 кандидатов воспроизводится этой процедурой.

Приложение Н. Дополнительные результаты§

Н.1. Повторная генерация Claude Opus 5.5 и отказы Claude

При генерации одним запросом доля совпадений в повторной генерации была выше, чем в исходной, в 11 задачах, ниже в 13 и такой же в 26. При Omega Point совпадение с эталоном различалось в восьми задачах из пятидесяти, поэтому полный перебор перестановок внутри задач даёт p = 0,0625 до поправки и 0,188 после неё, тогда как наименьшее достижимое при таком составе задач значение равно 0,0234. Интервал оценивает разность при повторной выборке задач, а перестановочный тест проверяет обменимость двух генераций внутри задачи.

В доли повторной генерации входят два набора, которые Opus отказалась сгенерировать: многоступенчатая схема задачи R42664348 и Omega Point задачи R42736449. В обоих наборах классификатор обрывал ответ на ступени генерации гипотез во всех шести попытках двух запусков, по три в каждом, после чего модель отказывалась его повторить. Без этих наборов доля совпадений составила 14,7 % (36/245) при многоступенчатой схеме и 1,2 % (3/245) при Omega Point. Отказы на отдельных ступенях встречались и в засчитанных наборах: в исходной генерации в 10 наборах многоступенчатой схемы и 10 наборах Omega Point, в повторной в 7 и 2 наборах; следующая ступень получала отказ модели или оборванный ответ вместо результата. В двух ответах на один запрос повторной генерации модель после обрыва написала полный набор гипотез заново. Разность между многоступенчатой схемой и одним запросом в повторной генерации составила −3,6 п. п. (95 % ДИ [−8,4; 1,2]; p = 0,194 с поправкой Холма на три внутримодельных сравнения).

Отдельно исключили все наборы, в которых сохранённый ответ хотя бы одной ступени содержал отказ Claude или оборванный классификатором фрагмент: в исходной генерации 10 наборов многоступенчатой схемы и 10 Omega Point, в повторной 8 наборов многоступенчатой схемы, 3 Omega Point и 2 одного запроса, включая оба набора с отказом во всех попытках. До исправления 14 октября оборванный фрагмент сохранялся вместе с повторным ответом; обрыв, после которого модель давала полный ответ, в сохранённом тексте следов не оставляет. Журнал повторной генерации содержит 103 обрыва сообщений классификатором, включая обрывы в исключённых наборах. Без исключённых наборов доля совпадений при Omega Point составила 3,0 % (6/200; 95 % ДИ [0,6; 5,9]) в исходной и 1,3 % (3/235; 95 % ДИ [0,0; 2,9]) в повторной генерации, при многоступенчатой схеме 11,5 % (23/200; 95 % ДИ [4,6; 20,0]) и 15,2 % (32/210; 95 % ДИ [9,4; 21,4]). Разность долей Omega Point и одного запроса на задачах, где сохранились оба набора, составила −16,5 п. п. (95 % ДИ [−23,0; −10,5]; 40 задач) в исходной и −17,8 п. п. (95 % ДИ [−23,6; −12,4]; 45 задач) в повторной генерации.

Без исходных генераций Opus доля совпадений у трёх остальных моделей составила 13,2–16,8 % при одном запросе, 16,0–18,8 % при многоступенчатой схеме и 2,8–7,6 % при Omega Point. Для различия между многоступенчатой схемой и одним запросом у всех трёх моделей p > 0,05 после поправки Холма на девять сравнений.

Н.2. Степень подсказки и генерация

На 38 заданиях с оценкой подсказки 0 или 1 доля совпадений при генерации одним запросом составила 10,5 % (20/190) у Astra, 13,2 % (25/190) у Grok, 14,7 % (28/190) у Opus и 11,1 % (21/190) у Gemini против 14,4; 16,8; 18,0 и 13,2 % на всех 50 заданиях. При повторной генерации Opus доля составила 13,7 % (26/190) против 18,0 %.

При заранее заданной альтернативной разметке пограничных вопросов корреляция оценки подсказки с долей совпадений составила ρ = −0,06 (95 % ДИ [−0,34; 0,23]; p = 0,703 без поправки). Для совместной оценки вопроса и исходных сведений корреляция с долей совпадений при основном пороге составила ρ = 0,29 (95 % ДИ [−0,06; 0,59]; перестановочное p = 0,040 без поправки). Этот разведочный результат, разность групп и пересчёт на 38 заданиях согласуются с вкладом подсказки в совпадение с эталоном.

Н.3. Сравнение генераторов на общих задачах

Для сравнения взяли 48 задач, общих для трёх наборов, по 240 гипотез на генератор. На этих задачах итоговый список содержит 14 совпадающих гипотез из 19 у Grok, 9 из 19 у Gemini и 13 из 20 у Opus. У Gemini и Opus исключены две задачи, входящие в их полные наборы, поэтому числа могут отличаться от таблиц 6 и 7.

Из первого значения в строке вычтено второе. ДИ рассчитаны по 10 000 совместных повторных выборок 48 задач, для последней строки 49 задач, полных в обоих наборах Opus. Все интервалы разностей включают ноль, и сравнение не позволяет выбрать лучший генератор для этого правила.

Ответы случайного контроля для повторной генерации Opus записали 28 октября в 22:44 UTC, до заморозки набора гипотез в 22:45 и до первого запроса к прогнозирующим моделям в 22:45:57. Все 213 запросов к четырём моделям прошли проверку отключения инструментов. По одной задаче Grok дважды не дала прогноза, и пять её гипотез исключили как технический пропуск. Строгому порогу соответствовали 2 из 17 отобранных гипотез повторной генерации, как и 2 из 22 в исходном наборе.

Н.4. Расчётное число прогнозов

За единицу принят прогноз одной модели для одной гипотезы; сохранённый прогноз Astra повторно используется при проверке единогласия.

Н.5. Итоговый отбор при двух порогах совпадения

Списки отбора не меняли. Знаменатель доли совпадений — число отобранных гипотез, знаменатель чувствительности — число совпадающих гипотез исходного набора при том же пороге. ДИ рассчитаны по 10 000 повторных выборок целых задач.

Н.6. Рекомендации группы моделей и случайный список той же длины

Для группы моделей показан фактический результат, для случайного выбора — среднее и центральный 95 % диапазон числа совпадающих гипотез по точному распределению (приложение М.3). Из-за дискретности диапазон может охватывать более 95 % возможных результатов. Доверительные интервалы результата группы приведены в таблице 7.

При случайном сокращении положительных прогнозов отдельной модели до 19 гипотез на гипотезах Grok верхние границы центральных диапазонов составили 12 для Sonnet, Astra и Gemini и 9 для Grok; группа моделей отобрала 14 совпадающих гипотез. На гипотезах Gemini результат группы, 9 из 19, входит в диапазон 3–10 при случайном сокращении 53 прогнозов «да» самой Gemini до 19 (в её списке совпадают 18 из 53). На гипотезах Opus результат группы, 14 из 22, на одну гипотезу превышает верхнюю границу диапазона 6–13 при случайном сокращении 49 прогнозов «да» Astra до 22 (в её списке совпадает 21 из 49).

Н.7. Проверки устойчивости итогового отбора

На 38 заданиях с оценкой подсказки 0 или 1 доли совпадений среди отобранных рассчитаны по 36 задачам для Grok, 38 для Gemini и Opus и 37 для повторной генерации Opus; 95 % ДИ составили [33,3; 90,9], [11,1; 62,5], [38,5; 84,2] и [22,2; 85,7]. В исходных наборах тех же заданий с эталоном совпадали 12,8 % (23/180), 11,1 % (21/190), 14,7 % (28/190) и 13,0 % (24/185) гипотез.

При поочерёдном исключении судей наибольшее снижение получено для гипотез Opus после исключения судьи xAI: с 63,6 до 54,5 % (12/22). Исключение судьи Google, компании прогнозирующей модели Gemini, сохраняло результат для гипотез Grok и уменьшало число совпадений среди отобранных гипотез Opus на одну в обеих генерациях. Отношение доли среди отобранных к исходной доле составило 3,5–4,8. При двух оставшихся судьях правило совпадения строже, поэтому снижение отчасти отражает смену правила; оставшиеся судьи также представляют компании прогнозирующих моделей, и общую систематическую ошибку судей и прогнозирующих моделей этот пересчёт не исключает.

Без прогнозирующей модели компании генератора 95 % ДИ доли совпадений составили [47,6; 86,7] для Grok, [23,1; 66,7] для Gemini, [35,0; 70,8] для Opus и [26,1; 65,6] для повторной генерации Opus. Доля найденных совпадающих гипотез возрастала на 0,0–6,9 п. п. Первый этап во всех наборах выполняла Astra, компания которой не разрабатывала ни одного из трёх генераторов. ДИ долей совпадений при повторном запуске прогнозов составили [46,7; 88,9] для Grok, [26,7; 75,0] для Gemini и [43,5; 86,4] для Opus; прогнозы в обоих запусках получили 235, 245 и 240 гипотез. Отношение шансов на один балл ясности составило 2,02 (95 % ДИ [1,04; 3,95]; p < 0,05); добавление осуществимости в регрессию эти оценки почти не меняло. Отобранные гипотезы получили средний балл оригинальности 4,86, исключённые 5,08; в одной задаче Opus исключённой гипотезы не осталось, поэтому сравнение охватывает 59 пар. По лексическому критерию у совпадающих гипотез названо в среднем 13,0 % ключевых элементов, у остальных 4,1 %.

Н.8. Правило «эффект в благоприятную сторону» на наборе 50/50

Среди 61 размеченного утверждения благоприятное направление имели 35 из 38 подтверждённых и 18 из 23 опровергнутых. Прогнозы моделей совпадали с правилом в 50,8–62,3 % размеченных утверждений. На 39 неразмеченных утверждениях модели ответили верно в 61,5–82,1 % случаев.

Приложение О. Состав опубликованных данных§

Отчёты вычислительных экспериментов прогнозирования 22–24 октября опубликованы на сайте по адресу https://eternalsearch.net/omega/<каталог>/report.json; протоколы и сохранённые запросы находятся в тех же каталогах: experimental-support-20261022, direct-confirmation-20261022, direct-confirmation-grok-20261022, balanced-confirmation-20261022, balanced-opus-20261023, grok-generated-confirmation-20261023, gemini-generated-confirmation-20261023, opus-generated-confirmation-20261023 и selection-replication-20261023. Итоговые списки находятся в файлах selected.csv каталогов two-stage-unanimous-20261023, two-stage-unanimous-gemini-20261023 и two-stage-unanimous-opus-20261023.

Прогнозы и отбор для гипотез повторной генерации Opus опубликованы в каталогах opus-isolated-confirmation-20261028, two-stage-unanimous-opus-isolated-20261028 и opus-isolation-selection-20261028. Повторный запуск прогнозов с проверкой изоляции каждого запроса опубликован в файле forecast-repeat-20261030-v2/comparison.json, оценки оригинальности отобранных и исключённых гипотез в каталоге selection-originality-20261030. Записи повторной генерации Opus с проверкой изоляции каждого запроса, записи отказов Claude с полными ответами модели, воспроизведение прежней конфигурации и пересчёты на 38 заданиях и при исключении судьи каждой компании предоставляются по запросу.

Структура построчных данных и различие между исходом y и решением selected описаны в описании данных. В analysis.json поле selected вычислено по четырём фактическим прогнозам. Неиспользуемое поле yes, ошибочно содержавшее false в исторических отчётах, из построчных данных этой редакции удалено; архивные отчёты сохранены в исходном виде. Контрольные суммы баллов судей сохранены в выгрузке.

Таблица S. Отобранные гипотезы, эталонные утверждения и баллы судей§

Дополнительные материалы к препринту «Генерация и отбор четырьмя большими языковыми моделями научных гипотез, совпадающих с опубликованным экспериментальным результатом, в бенчмарке на 50 статьях по биологии старения».

В таблице приведены все 60 гипотез, которые двухэтапный отбор сохранил для трёх генераторов: ответ «да» GPT-6 Astra на первом этапе и единогласный положительный прогноз группы из четырёх предикторов на втором. Для каждой гипотезы указаны полный текст, исследовательский вопрос задания, эталонное утверждение статьи и баллы трёх судей других компаний. Основной критерий требует балла не ниже 3 от большинства судей, строгий критерий балла 4 или 5. Баллы приведены в порядке перечисления судей для данного генератора. Решение большинства по основному критерию названо пограничным, если судьи разделились два к одному: при другом голосе одного судьи оно изменилось бы. Пограничных решений 6 из 60.

Тексты гипотез, вопросов и эталонных утверждений приведены на языке опыта без сокращений: модели получали именно эти формулировки. Таблица сформирована программно из опубликованных отчётов отбора; контрольные суммы источников приведены в разделе «Контрольные суммы источников».

Гипотезы повторной генерации Claude Opus 5.5

Повторная генерация с подтверждённым отключением инструментов относится к анализу чувствительности (раздел 3.9 рукописи). Отбор по тому же правилу сохранил 17 гипотез, из них с пограничным решением 1.

Контрольные суммы источников

https://eternalsearch.net/omega/gemini-generated-confirmation-20261023/cohort.json  864112330b7b49bbc4919e1d7a8eee78054581ec16d87a2b8dfcbbdbb2d448f9
https://eternalsearch.net/omega/grok-generated-confirmation-20261023/cohort.json  dc965b953bb2e17b9da8e357f90d1056da41e94febfb36d8ace049ae1dbf4c3b
https://eternalsearch.net/omega/opus-generated-confirmation-20261023/cohort.json  2585e4078d9e937f40eb73ff8032f632b2267a65c1b3ba0582a3d2ff6e14e718
https://eternalsearch.net/omega/opus-isolated-confirmation-20261028/cohort.json  6113d567d36fe001ab364e3538b1e7e7aae62175b7bf9d6933b551ef73d16a6d
https://eternalsearch.net/omega/two-stage-unanimous-20261023/report.json  e9d7a0e581e184070fa6963458a27253df442d530ecd28e0c5c628c7d0a0f365
https://eternalsearch.net/omega/two-stage-unanimous-gemini-20261023/report.json  5f0a11da83a66029d3cf0c81f302dddf9ab99da19fe65f2183a66bdf2b253b12
https://eternalsearch.net/omega/two-stage-unanimous-opus-20261023/report.json  07ed307f6065d2f0b3f3b6eef06416b683a0fb4b4bf2c47c87b819a51bf40cae
https://eternalsearch.net/omega/two-stage-unanimous-opus-isolated-20261028/report.json  115a9701aa164be1ca5b55176943fa030986e0f08d35dfdcdcc6f4db9419838b