Способы генерации гипотез в бенчмарке
Страница описывает, как четыре модели-генератора предлагали гипотезы по заданиям бенчмарка тремя способами: назначение каждого способа, последовательность запросов, передачу ответов между ступенями и выбор пяти гипотез, которые затем оценивали судьи.
Место генерации в исследовании§
По аннотации каждой из 50 статей GPT-5.6 Sol составляла исходные сведения, исследовательский вопрос и эталонное утверждение с ключевыми элементами. Генератор получал только исходные сведения и вопрос, а эталон получали судьи, которые определяли совпадение с ним каждой гипотезы. Затем прогнозирующие модели без доступа к эталону отвечали, подтвердится ли гипотеза экспериментально, и правило единогласия четырёх моделей отбирало гипотезы для первоочередной проверки (раздел 2 препринта, рисунок 1).
Гипотезы генерировали GPT-6 Astra, Grok 4.5, Claude Opus 5.5 и Gemini 4 Argon тремя способами: одним запросом, многоступенчатой схемой и сокращённой схемой Omega Point. Каждый способ давал на задание набор до пяти гипотез. Знаменатель анализа для каждого сочетания генератора и способа составлял 250 гипотез; сохранено 2997 гипотез, из них 247 у Claude Opus 5.5 в схеме Omega Point и по 250 в остальных сочетаниях. Результаты сравнения способов приведены в разделах 3.1 и 3.2 препринта, полные тексты всех запросов собраны на странице запросов.
Общие условия генерации§
Все запросы генерации начинались с общей системной инструкции: модель выступает исследователем в области биологии старения, предлагает гипотезы, отвечающие на исследовательские вопросы, и отвечает в формате JSON. На ступенях с первой по третью запрос требовал свободного текста, на ступенях генерации и при выборе гипотез задавал формат JSON; на четвёртой ступени схемы Omega Point к системной инструкции добавляли ролевые указания. Каждая гипотеза состояла из утверждения, механизма, предсказания, которое подтвердило бы её в сравнении с альтернативами, и краткого названия класса механизмов. Судьи и прогнозирующие модели получали утверждение, механизм и предсказание одним текстом.
Генераторы работали с высоким уровнем рассуждения, лимитом 32 000 токенов на обращение и своими значениями параметров выборки по умолчанию (раздел 2.2). Единственный запрос первого способа и запрос каждой ступени повторяли, если ответ не удавалось разобрать или модель отказывалась отвечать, всего не более трёх попыток. Отказы классификатора безопасности Claude учитывали по правилу раздела 2.3: недостающие гипотезы засчитывали как несовпадающие с эталоном.
Один запрос§
Один запрос показывает, какие гипотезы модель предлагает сразу по условию задачи, и служит точкой сравнения для двух схем, расходующих на задание в несколько раз больше сгенерированных токенов (таблица в конце страницы).
Модель получала задание и просьбу предложить пять гипотез одним ответом (текст запроса). Запрос не просил ранжировать гипотезы, поэтому место гипотезы в ответе, с первого по пятое, соответствует порядку её генерации. В набор входили пять гипотез ответа в том порядке, в котором модель их записала.
Многоступенчатая схема§
Многоступенчатая схема служит контролем для Omega Point. Она сохраняет пять ступеней Omega Point и передачу результатов между ними, использует нейтральные инструкции анализа, генерации и улучшения гипотез, а дополнительными запросами приближает расход сгенерированных токенов к расходу Omega Point. Отношение расхода двух схем составило от 0,978 до 1,119 (раздел 3.1 препринта), а число кандидатов, из которых модель выбирала гипотезы, в многоступенчатой схеме было больше (таблица в конце страницы).
Каждую ступень выполняли отдельным запросом, который содержал задание и результаты всех предыдущих ступеней (тексты ступеней):
- анализ задания: чего должен достичь хороший ответ, каковы основные требования и ограничения и в чём трудность задачи;
- изложение установленных знаний и существующих подходов к задаче, ограниченное тем, что действительно известно;
- от пяти до восьми наиболее важных открытых вопросов или возможностей, упорядоченных по важности, с обоснованием в одну строку;
- гипотезы, отвечающие на задание с учётом работы предыдущих ступеней;
- улучшенная версия каждой из трёх сильнейших гипотез четвёртой ступени.
Ответы первых трёх ступеней передавали дальше полностью, а ответ четвёртой ступени преобразовывали в нумерованный список гипотез из утверждения, механизма и предсказания. После пятой ступени модель получала дополнительные запросы, каждый со списком всех уже предложенных гипотез и просьбой предложить новые, отличные от них.
Перед каждым дополнительным запросом его расход оценивали по среднему числу сгенерированных токенов всех уже записанных обращений генерации. Запрос выполняли, если с этой оценкой отклонение общего расхода от расхода Omega Point той же модели на том же задании уменьшалось. Допускали до 40 дополнительных попыток и прекращали серию после третьей ошибки обращения. При отказе модели в схеме Omega Point на задании целью служила медиана расхода уже сохранённых результатов Omega Point той же модели.
Последним запросом модель выбирала из всех своих кандидатов пять гипотез, наиболее вероятных, по её оценке, для экспериментального подтверждения и наиболее ценных как ответ на вопрос, и располагала лучшие первыми (текст запроса). Из ответа сохраняли допустимые неповторяющиеся номера кандидатов; если их оказывалось меньше пяти или ответ не удавалось разобрать, список дополняли оставшимися кандидатами в порядке их появления.
Схема Omega Point§
Omega Point разработана в Open Longevity для генерации гипотез с различающимися механизмами. Схема рассматривает задачу через механизмы нарушения работы системы, ищет противоречия в известных данных и связи с далёкими областями, ставит вопросы о пробелах в знаниях и требует гипотез заданных творческих ролей, в том числе гипотезы, требующей пересмотра основной модели одной из подобластей. В бенчмарке использовали сокращённую версию из пяти ступеней без поиска научной литературы, в которой сведения об области модель приводила по собственным знаниям. Каждую ступень выполняли отдельным запросом с результатами предыдущих ступеней, переданными так же, как в многоступенчатой схеме (тексты ступеней):
- анализ нарушений работы системы. Запрос требовал рассмотреть предмет задачи как систему и перечислить десять наиболее частых катастрофических нарушений её работы, прежде всего динамических: сбоев обратных связей, рассогласования во времени, каскадных отказов, компенсаторных реакций, ставших вредными. Нарушения следовало объединить в группы, от трёх до пяти, назвать каждую группу по механизму нарушения и сформулировать для неё требуемое устойчивое состояние;
- карта известного. Запрос требовал изложить установленные знания, относящиеся к группам первой ступени, в том числе не менее двух противоречий, при которых два механизма с сильными доказательствами дают противоположные предсказания, и не менее двух механизмов из неожиданных смежных областей. Требовались также обращение эффекта в зависимости от дозы, временной парадокс или смена направления эффекта в зависимости от условий, признаки неполноты принятой модели и метод измерения, который сделал бы наблюдаемыми скрытые механизмы;
- вопросы о пробелах. Запрос задавал одну из пяти точек зрения на нарушение работы системы (в Omega Point они называются познавательными линзами) и требовал отнести каждый пробел между требованиями групп и картой известного к одному из четырёх типов: сведений нет; результат воспроизводится только в изоляции; измеряют косвенные показатели вместо причинного процесса; сведения дают противоположные предсказания. Для пробелов первого и четвёртого типов следовало соединить сведения из двух и более областей. Затем модель ставила от пяти до восьми вопросов длиной до 45 слов, упорядоченных по значимости, с обязательным вопросом, направленным на опровержение наиболее перспективного из найденных сведений. Среди вопросов требовались два, обращающие основные допущения, и по одному, оспаривающему принятую модель, переносящему количественный закон из другой области и касающемуся неисследованного стыка дисциплин;
- генерация гипотез с творческими ролями. Модель отвечала на задание через вопросы третьей ступени гипотезами с максимально различающимися механизмами; к системной инструкции добавляли ролевые указания, перечисленные ниже. Запрос также предлагал рассмотреть физический носитель состояния, сравнительные и эволюционные примеры систем, решивших сходную задачу, и способ передачи сигнала об ошибке;
- развитие вариантов. Запрос требовал взять три сильнейшие гипотезы четвёртой ступени и построить по одному варианту каждой одной из шести операций (уточнение, объединение, упрощение, перенос из другой области, обращение допущения, смена мишени), сохраняя исходную гипотезу и её предсказание. Не менее одного варианта следовало получить обращением допущения и не менее одного переносом механизма из другой области.
Ролевые указания четвёртой ступени требовали в каждом задании гипотез трёх типов. Еретическая гипотеза требует, чтобы названная подобласть пересмотрела свою основную модель, опирается на конкретное необъяснённое наблюдение и даёт предсказание, которое удивило бы специалистов. Междисциплинарный перенос называет закон, уравнение или принцип из физики, техники, экологии или материаловедения и сопоставляет каждую его переменную с биологической величиной. Не менее двух гипотез-разведчиков предлагают механизмы из разных неочевидных областей, имеющие эмпирическое обоснование и ещё не применённые к задаче. Сверх этих ролей указания разрешали добавлять гипотезы только с новым классом механизма.
В 10 из 50 заданий, выбранных по хэшу идентификатора задания, добавлялась четвёртая роль: гипотеза о том, что изучаемый эффект представляет собой артефакт измерения, эпифеномен или несколько разных явлений, объединённых в одно. В остальных 40 заданиях указания запрещали такие гипотезы, так как в полной версии Omega Point эта роль отводится лишь части вопросов одного запуска.
Пять точек зрения третьей ступени описывают нарушение работы системы как утрату согласия между подсистемами (распределённый консенсус), как накопление ошибок при хранении и передаче информации (теория информации и исправления ошибок), как утрату устойчивости сети взаимодействующих агентов (сложные адаптивные системы), как исчерпание запасов прочности и резервов (теория надёжности) или как смещение уставок и ослабление обратных связей (кибернетическое управление). Точку зрения выбирали по хэшу идентификатора задания, поэтому все четыре генератора получали на одном задании одну и ту же; по 50 заданиям они распределились как 12, 10, 11, 11 и 6 заданий в перечисленном порядке.
Пять гипотез модель выбирала из кандидатов четвёртой и пятой ступеней тем же последним запросом и по тому же правилу, что и в многоступенчатой схеме. Расход сгенерированных токенов схемы Omega Point служил целью для дополнительных запросов многоступенчатой схемы.
Полная версия Omega Point§
Полная версия Omega Point строит по исходной цели иерархию вопросов. Её архитектура содержит десять пронумерованных шагов:
- формулировка главного вопроса с критериями успеха;
- разложение главного вопроса на опорные цели методом анализа нарушений;
- разложение опорных целей на проверяемые требования;
- выбор научных областей и сбор сведений по каждой из них, включая аннотации недавних публикаций, двумя отдельными ролями модели;
- сопоставление сведений с требованиями, которое выполняется внутри сбора сведений на шаге 4;
- вопросы о пробелах между требованиями и сведениями;
- гипотезы с творческими ролями для каждого вопроса;
- тактические вопросы, различающие конкурирующие гипотезы;
- конкретные эксперименты с указанием системы, воздействия, измерения и срока;
- оценка возможности объединить эксперименты одной ветви и общий эксперимент либо обоснование отдельных экспериментов.
Запуски Omega Point на сайте завершаются гипотезами шага 7. Сокращённая версия бенчмарка также заканчивается гипотезами и начинает с готового задания бенчмарка вместо главного вопроса. Тексты её первых четырёх ступеней адаптированы из шагов 2, 4, 6 и 7 полной версии для работы с одним заданием, формат ответа задан требованиями бенчмарка, а пятая ступень использует операции развития вариантов Omega Point 2.0. На второй ступени модель излагала сведения об области по собственным знаниям.
Число запросов и кандидатов в наборе§
Таблица построена по сохранённым записям генерации 50 заданий для каждого сочетания генератора и способа; в ячейках приведены медиана, минимум и максимум по наборам. Запросами считали обращения, на которые модель вернула ответ, включая повторные попытки и запрос выбора. Кандидатами считали гипотезы, извлечённые из ответа единственного запроса, из ответов четвёртой и пятой ступеней и из дополнительных запросов; из кандидатов в набор входило до пяти гипотез. Сумма сгенерированных токенов по наборам совпадает с данными о токенах раздела 3.1, счёт по каждому набору опубликован в отдельном файле.
| Генератор▲ | Способ▲ | Запросов▲ | Дополнительных запросов▲ | Кандидатов▲ | Кандидатов ступени 4▲ | Кандидатов ступени 5▲ | Кандидатов дополнительных запросов▲ | Сгенерированных токенов▲ |
|---|---|---|---|---|---|---|---|---|
| GPT-6 Astra | Один запрос | 1 (1–1) | 0 | 5 (5–5) | нет ступени | нет ступени | 0 | 994,5 (725–1455) |
| GPT-6 Astra | Многоступенчатая схема | 11 (9–15) | 5 (3–9) | 21,5 (14–31) | 4,5 (1–7) | 3 (2–3) | 13 (9–22) | 8250 (6403–11 156) |
| GPT-6 Astra | Omega Point | 6 (6–6) | 0 | 7 (7–9) | 4 (4–6) | 3 (3–3) | 0 | 8299,5 (6581–10 451) |
| Grok 4.5 | Один запрос | 1 (1–1) | 0 | 5 (5–5) | нет ступени | нет ступени | 0 | 1433 (881–1903) |
| Grok 4.5 | Многоступенчатая схема | 9 (8–11) | 3 (2–5) | 41 (31–58) | 6 (5–10) | 3 (3–3) | 31 (20–47) | 16 852,5 (13 791–22 620) |
| Grok 4.5 | Omega Point | 6 (6–6) | 0 | 11 (9–13) | 8 (6–10) | 3 (3–3) | 0 | 15 714,5 (12 787–20 682) |
| Claude Opus 5.5 | Один запрос | 1 (1–2) | 0 | 5 (5–5) | нет ступени | нет ступени | 0 | 2718,5 (2101–7631) |
| Claude Opus 5.5 | Многоступенчатая схема | 9 (6–11) | 3 (0–5) | 30,5 (11–51) | 8 (0–11) | 3 (3–3) | 20 (0–40) | 29 166 (14 430–39 462) |
| Claude Opus 5.5 | Omega Point | 6 (6–6) | 0 | 9 (3–12) | 6 (0–9) | 3 (0–3) | 0 | 27 705 (15 608–35 882) |
| Gemini 4 Argon | Один запрос | 1 (1–1) | 0 | 5 (5–5) | нет ступени | нет ступени | 0 | 6988 (2628–15 158) |
| Gemini 4 Argon | Многоступенчатая схема | 9 (6–13) | 3 (1–7) | 34 (15–68) | 6 (5–8) | 3 (3–3) | 24,5 (6–60) | 101 066,5 (51 940–186 994) |
| Gemini 4 Argon | Omega Point | 6 (6–6) | 0 | 8 (7–15) | 5 (4–6) | 3 (3–9) | 0 | 91 367,5 (59 984–157 088) |