Запросы к языковым моделям в бенчмарке гипотез
Модели получали запросы на английском языке. Для каждого запроса ниже приведены русский перевод и исходный текст. В квадратных скобках указаны поля, на место которых подставляли текст задания, гипотез или ответов предыдущих этапов.
Подготовка заданий§
Задание для генераторов составляли по аннотации статьи из PubMed. Перед составлением проверяли, есть ли у статьи ранний препринт; после составления проверяли, раскрывают ли исходные сведения и вопрос эталонный результат.
Сравнение статьи с найденным препринтом§
Модель GPT-5.6 Sol сравнивала опубликованную статью с каждым препринтом, найденным в Europe PMC по первому и последнему автору. По ответу решали, является ли препринт ранней версией той же работы.
Системная инструкция
Вы сравниваете опубликованную исследовательскую статью с записью препринта и решаете, является ли препринт более ранней версией того же исследования (та же работа тех же авторов, те же центральные эксперименты и утверждения, возможно под другим названием). Отвечайте только в формате JSON.Исходный текст на английском
You compare a published research paper with a preprint record and decide whether the preprint is an earlier version of the same study (same authors' work, same central experiments and claims, possibly under a different title). Answer with JSON only.Сообщение пользователя
ОПУБЛИКОВАННАЯ СТАТЬЯ
Название: [НАЗВАНИЕ СТАТЬИ]
Авторы: [АВТОРЫ СТАТЬИ]
Аннотация: [АННОТАЦИЯ СТАТЬИ]
ЗАПИСЬ ПРЕПРИНТА
Название: [НАЗВАНИЕ ПРЕПРИНТА]
Авторы: [АВТОРЫ ПРЕПРИНТА]
Аннотация: [АННОТАЦИЯ ПРЕПРИНТА]
Является ли препринт более ранней версией этой статьи, то есть тем же исследованием, результаты которого сообщает статья? Другая статья той же группы на близкую тему НЕ является тем же исследованием.
Верните JSON {"same_study":true|false,"confidence":0.0-1.0,"reason":"одно предложение"}Исходный текст на английском
PUBLISHED PAPER
Title: [PAPER TITLE]
Authors: [PAPER AUTHORS]
Abstract: [PAPER ABSTRACT]
PREPRINT RECORD
Title: [PREPRINT TITLE]
Authors: [PREPRINT AUTHORS]
Abstract: [PREPRINT ABSTRACT]
Is the preprint an earlier version of this paper, that is the same study whose results the paper reports? A different paper by the same group on a related topic is NOT the same study.
Return JSON {"same_study":true|false,"confidence":0.0-1.0,"reason":"one sentence"}Составление задания по аннотации§
Запрос получала GPT-5.6 Sol. Для проверки зависимости эталонов от составившей их модели Gemini 4 Argon с высоким уровнем рассуждения получила тот же запрос по тем же аннотациям. Генератор получал только поля background и question.
Системная инструкция
Вы превращаете аннотацию опубликованной исследовательской статьи по биологии старения в задание на повторное открытие гипотезы. Отвечайте только в формате JSON.Исходный текст на английском
You turn the abstract of a published research paper in the biology of ageing into a hypothesis-rediscovery task. Answer with JSON only.Сообщение пользователя
Название статьи: [НАЗВАНИЕ СТАТЬИ]
Журнал: [ЖУРНАЛ]
Аннотация:
[АННОТАЦИЯ]
Определите, сообщает ли статья конкретный новый причинный или механистический результат (гипотезу, которую авторы подтвердили экспериментально). Результат должен относиться к биологии старения: к самому старению, продолжительности жизни или здоровой жизни, клеточному старению либо к механизму возрастного снижения функций или возрастного заболевания. Описательные атласы, статьи о ресурсах или методах, ассоциации в когортах без механизма, клинические испытания и статьи, где старение упомянуто попутно, НЕ подходят.
Если статья подходит, напишите:
- background: 3-6 предложений о научном контексте, который исследователь знал бы ДО этой статьи: явление, известные данные и открытая проблема. Текст НЕ должен раскрывать результат статьи, намекать на него или сужать поиск до него, в том числе называть ключевую молекулу, сигнальный путь, тип клеток, вмешательство или итог.
- question: один исследовательский вопрос, на который отвечает статья, сформулированный без раскрытия ответа.
- subject: 2-6 слов, называющих предмет вопроса.
- finding: подтверждённая гипотеза в 1-3 предложениях (эталон).
- key_points: 2-5 коротких пунктов, обязательные составляющие правильного повторного открытия.
Верните JSON {"suitable":true|false,"reason":"одно предложение","background":"","question":"","subject":"","finding":"","key_points":[]}Исходный текст на английском
Paper title: [PAPER TITLE]
Journal: [JOURNAL]
Abstract:
[ABSTRACT]
Decide whether the paper reports a specific new causal or mechanistic finding (a hypothesis the authors confirmed experimentally). The finding must concern the biology of ageing: ageing itself, lifespan or healthspan, cellular senescence, or the mechanism of an age-related decline or disease. Descriptive atlases, resource or method papers, cohort associations without a mechanism, clinical trials and papers where ageing is only incidental are NOT suitable.
If suitable, write:
- background: 3-6 sentences of the scientific context a researcher would know BEFORE this paper: the phenomenon, what was known, and the open problem. It must NOT reveal, hint at or narrow down the paper's finding, its key molecule, pathway, cell type, intervention or result.
- question: one research question that the paper answers, phrased without revealing the answer.
- subject: 2-6 words naming the subject of the question.
- finding: the confirmed hypothesis in 1-3 sentences (the ground truth).
- key_points: 2-5 short items, the essential components a correct rediscovery must contain.
Return JSON {"suitable":true|false,"reason":"one sentence","background":"","question":"","subject":"","finding":"","key_points":[]}Проверка задания на раскрытие ответа§
Запрос получала GPT-5.6 Terra. Задание с найденной утечкой в набор не включали.
Системная инструкция
Вы проверяете задания на повторное открытие гипотез на утечку ответа. Отвечайте только в формате JSON.Исходный текст на английском
You audit hypothesis-rediscovery tasks for answer leakage. Answer with JSON only.Сообщение пользователя
Задание, полученное исследователем:
ИСХОДНЫЕ СВЕДЕНИЯ: [ИСХОДНЫЕ СВЕДЕНИЯ]
ВОПРОС: [ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Скрытый эталонный результат:
[ЭТАЛОННОЕ УТВЕРЖДЕНИЕ]
Ключевые элементы: [КЛЮЧЕВЫЕ ЭЛЕМЕНТЫ ЧЕРЕЗ ТОЧКУ С ЗАПЯТОЙ]
Сообщают ли исходные сведения или вопрос результат или какой-либо ключевой элемент, называют ли их или прямо подразумевают (например, называя конкретную молекулу, сигнальный путь, тип клеток или вмешательство из результата либо делая его единственным разумным ответом)? Обычный контекст, на который могут опираться многие гипотезы, утечкой не считается.
Верните JSON {"leak":true|false,"evidence":"слова, раскрывающие ответ, или пустая строка"}Исходный текст на английском
Task given to a researcher:
BACKGROUND: [BACKGROUND]
QUESTION: [RESEARCH QUESTION]
Hidden ground-truth finding:
[REFERENCE FINDING]
Key points: [KEY POINTS, SEPARATED BY SEMICOLONS]
Does the background or question state, name or directly imply the finding or any key point (for example by naming the specific molecule, pathway, cell type or intervention of the finding, or by making it the only sensible answer)? Ordinary context that many hypotheses could build on is not leakage.
Return JSON {"leak":true|false,"evidence":"the leaking words, or empty"}Сравнение двух версий эталона§
Запрос получала Grok 4.7. Читатель A означает эталон GPT-5.6 Sol, читатель B означает эталон, повторно составленный Gemini 4 Argon по той же аннотации.
Системная инструкция
Вы сравниваете две формулировки основного результата одной и той же научной статьи. Отвечайте только в формате JSON.Исходный текст на английском
You compare two statements of the main finding of the same scientific paper. Answer with JSON only.Сообщение пользователя
Два читателя кратко изложили основной экспериментально подтверждённый результат одной и той же статьи. Сравните их изложения.
Результат по читателю A: [РЕЗУЛЬТАТ ПО GPT-5.6 SOL]
Ключевые элементы по читателю A: [КЛЮЧЕВЫЕ ЭЛЕМЕНТЫ ПО GPT-5.6 SOL ЧЕРЕЗ ТОЧКУ С ЗАПЯТОЙ]
Результат по читателю B: [РЕЗУЛЬТАТ ПО GEMINI 4 ARGON]
Ключевые элементы по читателю B: [КЛЮЧЕВЫЕ ЭЛЕМЕНТЫ ПО GEMINI 4 ARGON ЧЕРЕЗ ТОЧКУ С ЗАПЯТОЙ]
Верните JSON {"same_core_finding":true|false,"same_mechanism_or_target":true|false,"same_direction_of_effect":true|false,"b_adds_elements":true|false,"b_omits_elements":true|false,"differences":"одно или два предложения либо пустая строка"}Исходный текст на английском
Two readers summarised the main experimentally confirmed finding of the same paper. Compare them.
Reader A finding: [FINDING BY GPT-5.6 SOL]
Reader A key points: [KEY POINTS BY GPT-5.6 SOL, SEPARATED BY SEMICOLONS]
Reader B finding: [FINDING BY GEMINI 4 ARGON]
Reader B key points: [KEY POINTS BY GEMINI 4 ARGON, SEPARATED BY SEMICOLONS]
Return JSON {"same_core_finding":true|false,"same_mechanism_or_target":true|false,"same_direction_of_effect":true|false,"b_adds_elements":true|false,"b_omits_elements":true|false,"differences":"one or two sentences, or empty"}Генерация гипотез§
Все генераторы получали одни и те же запросы. Из ответа в текст гипотезы входили поля statement, mechanism и prediction в виде «[statement] Mechanism: [mechanism] Prediction: [prediction]»; поле domain_category в текст гипотезы не входило. Судьи и прогнозирующие модели получали гипотезы в этом виде.
Один запрос§
Генератор получал исходные сведения, вопрос и просьбу предложить пять гипотез в одном ответе. Эта же системная инструкция действовала во всех запросах многоступенчатой схемы и схемы Omega Point.
Системная инструкция
Вы исследователь в области биологии старения. Вы предлагаете научные гипотезы, отвечающие на исследовательские вопросы. Отвечайте только в формате JSON.Исходный текст на английском
You are a research scientist in the biology of ageing. You propose scientific hypotheses that answer research questions. Answer with JSON only.Сообщение пользователя
ЗАДАНИЕ
Исходные сведения:
[ИСХОДНЫЕ СВЕДЕНИЯ]
Исследовательский вопрос:
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Цель состоит в гипотезах, отвечающих на исследовательский вопрос: конкретных проверяемых причинных утверждениях.
Предложите пять гипотез.
Верните JSON {"hypotheses":[{"statement":"гипотеза в 1-3 предложениях","mechanism":"предлагаемый механизм","prediction":"результат, который подтвердил бы её в сравнении с альтернативами","domain_category":"краткое название её класса механизмов"}],"notes":""}Исходный текст на английском
TASK
Research background:
[BACKGROUND]
Research question:
[RESEARCH QUESTION]
The goal is hypotheses that answer the research question: specific, testable causal claims.
Propose five hypotheses.
Return JSON {"hypotheses":[{"statement":"the hypothesis in 1-3 sentences","mechanism":"the proposed mechanism","prediction":"a result that would support it over the alternatives","domain_category":"short label of its mechanism class"}],"notes":""}Многоступенчатая схема§
Пять этапов шли отдельными запросами; каждый следующий запрос содержал ответы предыдущих этапов. Ответ этапа 4 передавался дальше нумерованным списком гипотез. После этапа 5 генератор получал дополнительные запросы, пока число сгенерированных токенов приближалось к расходу схемы Omega Point на том же задании, затем выбирал пять гипотез (запрос выбора приведён ниже).
Строение сообщения пользователя
ЗАДАНИЕ
Исходные сведения:
[ИСХОДНЫЕ СВЕДЕНИЯ]
Исследовательский вопрос:
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Цель состоит в гипотезах, отвечающих на исследовательский вопрос: конкретных проверяемых причинных утверждениях.
РЕЗУЛЬТАТЫ ВАШИХ ПРЕДЫДУЩИХ ЭТАПОВ
=== ЭТАП [НОМЕР] ===
[ОТВЕТ НА ЭТОМ ЭТАПЕ]
[ТЕКСТ ЭТАПА]
[ФОРМАТ ОТВЕТА]Исходный текст на английском
TASK
Research background:
[BACKGROUND]
Research question:
[RESEARCH QUESTION]
The goal is hypotheses that answer the research question: specific, testable causal claims.
RESULTS OF YOUR PREVIOUS STAGES
=== STAGE [NUMBER] ===
[ANSWER OF THAT STAGE]
[STAGE TEXT]
[ANSWER FORMAT]Тексты этапов
ЭТАП 1 ИЗ 5. Проанализируйте задание. Опишите, чего должен достичь хороший ответ, каковы основные требования и ограничения и в чём трудность задачи. Запишите краткий список.
ЭТАП 2 ИЗ 5. Кратко изложите наиболее значимые установленные знания и существующие подходы к этому заданию. Сообщайте то, что действительно известно. Запишите краткий список.
ЭТАП 3 ИЗ 5. Сформулируйте 5-8 самых важных открытых вопросов или возможностей для этого задания, упорядоченных от самого важного, каждый с одной строкой обоснования.
ЭТАП 4 ИЗ 5. Используя проделанную работу, сгенерируйте гипотезы, отвечающие на задание.
ЭТАП 5 ИЗ 5. Возьмите три сильнейшие гипотезы этапа 4 и напишите улучшенную версию каждой.Исходный текст на английском
STAGE 1 OF 5 — Analyse the task. Describe what a good answer must achieve, the main requirements and constraints, and what makes the problem difficult. Write a concise list.
STAGE 2 OF 5 — Summarise the most relevant established knowledge and existing approaches for this task. Report what is actually known. Write a concise list.
STAGE 3 OF 5 — Formulate the 5-8 most important open questions or opportunities for this task, ranked with the most important first, each with one line of rationale.
STAGE 4 OF 5 — Using the work above, generate hypotheses that answer the task.
STAGE 5 OF 5 — Take the three strongest hypotheses of stage 4 and write an improved version of each.Формат ответа на этапах 1-3
Напишите обычный текст.Исходный текст на английском
Write plain text.Формат ответа на этапе 4
Верните JSON {"hypotheses":[{"statement":"гипотеза в 1-3 предложениях","mechanism":"предлагаемый механизм","prediction":"результат, который подтвердил бы её в сравнении с альтернативами","domain_category":"краткое название её класса механизмов"}],"notes":""}Исходный текст на английском
Return JSON {"hypotheses":[{"statement":"the hypothesis in 1-3 sentences","mechanism":"the proposed mechanism","prediction":"a result that would support it over the alternatives","domain_category":"short label of its mechanism class"}],"notes":""}Формат ответа на этапе 5
Верните JSON {"hypotheses":[{"statement":"гипотеза в 1-3 предложениях","mechanism":"предлагаемый механизм","prediction":"результат, который подтвердил бы её в сравнении с альтернативами","domain_category":"краткое название её класса механизмов","operation":"","parent":"номер гипотезы этапа 4"}],"notes":""}Исходный текст на английском
Return JSON {"hypotheses":[{"statement":"the hypothesis in 1-3 sentences","mechanism":"the proposed mechanism","prediction":"a result that would support it over the alternatives","domain_category":"short label of its mechanism class","operation":"","parent":"number of the stage-4 item"}],"notes":""}Дополнительный запрос после этапа 5
ЗАДАНИЕ
Исходные сведения:
[ИСХОДНЫЕ СВЕДЕНИЯ]
Исследовательский вопрос:
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Цель состоит в гипотезах, отвечающих на исследовательский вопрос: конкретных проверяемых причинных утверждениях.
Гипотезы, которые вы уже предложили (предложите новые, отличающиеся от них; не повторяйте и не переформулируйте их):
1. [ГИПОТЕЗА 1]
2. [ГИПОТЕЗА 2]
Верните JSON {"hypotheses":[{"statement":"гипотеза в 1-3 предложениях","mechanism":"предлагаемый механизм","prediction":"результат, который подтвердил бы её в сравнении с альтернативами","domain_category":"краткое название её класса механизмов"}],"notes":""}Исходный текст на английском
TASK
Research background:
[BACKGROUND]
Research question:
[RESEARCH QUESTION]
The goal is hypotheses that answer the research question: specific, testable causal claims.
Hypotheses you have already proposed (propose new, different ones; do not repeat or restate them):
1. [HYPOTHESIS 1]
2. [HYPOTHESIS 2]
Return JSON {"hypotheses":[{"statement":"the hypothesis in 1-3 sentences","mechanism":"the proposed mechanism","prediction":"a result that would support it over the alternatives","domain_category":"short label of its mechanism class"}],"notes":""}Схема Omega Point§
Пять этапов шли отдельными запросами с тем же строением сообщения пользователя и теми же форматами ответа, что в многоступенчатой схеме. Тексты этапов перенесены из Omega Point без привязки к биологии старения и без схем JSON самого конвейера. На этапе 3 подставляли одну из пяти познавательных линз, выбранную по хэшу идентификатора задания. На этапе 4 к системной инструкции добавляли ролевые указания Omega Point. В одном задании из пяти, выбранном по хэшу идентификатора задания, между междисциплинарным переносом и разведчиками стояла четвёртая роль, а абзац после списка ролей заменяли вторым абзацем из блока «Четвёртая роль в каждом пятом задании». После этапа 5 генератор выбирал пять гипотез тем же запросом выбора.
Тексты этапов
ЭТАП 1 ИЗ 5. ОБРАТНЫЙ АНАЛИЗ ОТКАЗОВ (метод Omega Point)
Рассмотрите проблемную область задания как систему.
Шаг 1. Перечислите 10 самых частых путей КАТАСТРОФИЧЕСКОГО ОТКАЗА этой системы. Сосредоточьтесь на ДИНАМИЧЕСКИХ видах отказа (сбои петель обратной связи, нарушения согласования во времени, каскадные обвалы, компенсаторные механизмы, ставшие вредными), а НЕ на поломке отдельных компонентов.
Шаг 2. Для каждого вида отказа спросите: «Возникает ли этот отказ ВНУТРИ одной подсистемы или из ВЗАИМОДЕЙСТВИЙ между подсистемами?» Отдавайте приоритет отказам взаимодействия.
Шаг 3. Объедините родственные виды отказа в 3-5 групп. Каждая группа становится опорной целью. Называйте каждую опорную цель по МЕХАНИЗМУ ОТКАЗА, а не по месту.
Шаг 4. Обратите каждую группу отказов в необходимое здоровое устойчивое состояние.
ПРОВЕРКА НАЗВАНИЯ: может ли глава учебника или статья Википедии носить ТОЧНО такое название? Тогда ПЕРЕИМЕНУЙТЕ. Название должно описывать МЕХАНИЗМ ОТКАЗА, а не ПОДСИСТЕМУ.
Декомпозиция должна быть ГЕНИАЛЬНОЙ: цели должны заставить специалиста сказать: «Мне не приходило в голову так это сформулировать». Определите, ПОЧЕМУ система отказывает, а не только ГДЕ происходит отказ. Покажите НЕОЖИДАННЫЕ зависимости между подсистемами. Включите хотя бы 1 цель о ВИДАХ ОТКАЗА, ВОЗНИКАЮЩИХ ИЗ ВЗАИМОДЕЙСТВИЙ здоровых компонентов, и хотя бы 1 о ДИНАМИКЕ ВО ВРЕМЕНИ (последовательность, синхронизация, гистерезис).
Запишите опорные цели кратким списком.
ЭТАП 2 ИЗ 5. КАРТА ПЕРЕДНЕГО КРАЯ (метод Omega Point)
Для опорных целей этапа 1 перечислите установленные знания, которые к ним относятся. Ответ должен заставить специалиста сказать: «Я этого не знал» или «Я никогда не связывал эти две вещи». Если текст читается как обзорная статья, задача ПРОВАЛЕНА. Включите:
- не менее 2 ПРОТИВОРЕЧИЙ: механизм A и механизм B оба хорошо подкреплены данными, но дают для этой системы противоположные предсказания
- не менее 2 механизмов, перенесённых из НЕОЖИДАННЫХ смежных областей (подлинно удивительные связи вместо очевидных соседних областей)
- не менее 1 ОБРАЩЕНИЯ ЗАВИСИМОСТИ ДОЗА-ЭФФЕКТ, ВРЕМЕННОГО ПАРАДОКСА или СМЕНЫ ЗНАКА В ЗАВИСИМОСТИ ОТ КОНТЕКСТА, когда один и тот же механизм в разных условиях действует противоположно
- не менее 1 случая «Что, если стандартная модель ошибочна?»: где господствующая модель может быть принципиально неполной или вводить в заблуждение, со ссылкой на появляющиеся противоречащие данные
- не менее 1 переворота в измерениях: способа измерения, который сделал бы измеримыми прежде невидимые механизмы и изменил бы круг возможных экспериментов
Для каждого пункта укажите, что вас УДИВИЛО и почему специалист может ещё этого не знать. Сообщайте то, что действительно известно; не выдумывайте результатов. Запишите краткий список.
ЭТАП 3 ИЗ 5. ВОПРОСЫ О ПРОБЕЛАХ (метод Omega Point). Познавательная линза: [ЛИНЗА]
ФАЗА 1. СИНТЕЗ ПРОБЕЛОВ: сравните, чего требует каждая опорная цель, с тем, что даёт карта переднего края. Классифицируйте пробелы: ПУСТОТА (ничто его не закрывает), ХРУПКОСТЬ (работает только в изоляции), ЗАМЕНИТЕЛЬ (измеряются косвенные показатели вместо исходных причин), СТОЛКНОВЕНИЕ (противоречащие предсказания).
ФАЗА 2. МЕЖДИСЦИПЛИНАРНЫЙ ПРОСМОТР: для каждого пробела типа ПУСТОТА или СТОЛКНОВЕНИЕ объедините пункты из двух и более разных областей. Что предсказывает их СОЧЕТАНИЕ такого, чего ни один пункт не предсказывает по отдельности?
ФАЗА 3. СОСТАВЛЕНИЕ ВОПРОСОВ, стратегия по типу пробела: GENESIS_PROBE (пустота: перенесите аналогии из других областей; какие фундаментальные ограничения управляют этим переходом?), CONTEXTUAL_DECOUPLING (хрупкость: какие взаимодействия с окружающей системой её перекрывают?), CAUSAL_PIVOT (заменитель: какая вышестоящая причина управляет показателями?), ARBITRATION_LOGIC (столкновение: какая последовательность, комбинация или компромисс их примиряет?), ADVERSARIAL_FALSIFICATION (обязательно, не менее 1: вопрос, призванный ОПРОВЕРГНУТЬ самый многообещающий пункт).
Каждый вопрос НЕ ДЛИННЕЕ 45 СЛОВ. Острый, сокрушительный, ломающий парадигму. Набор должен включать 2 вопроса, обращающих основные допущения («Что, если верно ПРОТИВОПОЛОЖНОЕ?»), 1 вопрос, оспаривающий всю принятую систему представлений, 1 вопрос, переносящий количественный принцип из другой области (назовите конкретный закон и сопоставьте его переменные), 1 вопрос «Об этом никто не спрашивает» (слепое пятно между дисциплинами или то, что стало измеримым лишь недавно). Отбрасывайте учебниковые вопросы: если аспирант ответит на вопрос за два часа поиска литературы, ОТБРОСЬТЕ его.
Верните 5-8 вопросов, упорядоченных от самого значимого, каждый с одной строкой обоснования.
ЭТАП 4 ИЗ 5. ГЕНЕРАЦИЯ (метод Omega Point)
Ответьте на задание через вопросы о пробелах этапа 3 МАКСИМАЛЬНО РАСХОДЯЩИМИСЯ гипотезами, охватывающими как можно более широкое пространство. Каждая должна предлагать принципиально иной механизм или подход; тот же механизм в другой обстановке или в другом масштабе не годится. Никаких пересечений: если две гипотезы являются вариантами одного класса, оставьте только более смелую.
ЧТО ДОЛЖНА ДАТЬ КАЖДАЯ РОЛЬ (заполните роли, перечисленные в ваших РОЛЕВЫХ УКАЗАНИЯХ):
1. ЕРЕТИЧЕСКАЯ: должна пройти ВСЕ 4 проверки. ПРОВЕРКА 1 (ПЕРЕСМОТР ПОДОБЛАСТИ): заставила бы конкретную подобласть переписать её основную модель; назовите главу учебника. ПРОВЕРКА 2 (ВНЕ ГЛАВНОГО ТЕЧЕНИЯ): ни один существующий обзор или программная статья в Nature или Science этого не утверждает. ПРОВЕРКА 3 (ЭМПИРИЧЕСКАЯ ОПОРА): приведите конкретное загадочное наблюдение, набор данных или результат в её поддержку. ПРОВЕРКА 4 (ПРОВЕРЯЕМАЯ НЕОЖИДАННОСТЬ): её предсказание ПОТРЯСЛО бы область, если бы подтвердилось.
2. МЕЖДИСЦИПЛИНАРНЫЙ ПЕРЕНОС: назовите конкретное уравнение, закон или принцип и сопоставьте каждую переменную. Расплывчатые метафоры междисциплинарным переносом не являются.
3. «ЯВЛЕНИЯ НЕ СУЩЕСТВУЕТ»: ТОЛЬКО ЕСЛИ ЭТУ РОЛЬ ПРЕДОСТАВЛЯЮТ ВАШИ РОЛЕВЫЕ УКАЗАНИЯ.
4. Не менее 2 РАЗВЕДЧИКОВ: из разных неочевидных областей, с эмпирическим обоснованием, ещё не применённые к этой задаче.
ПРАВИЛА КАЧЕСТВА: каждая гипотеза должна подразумевать проверку, способную опровергнуть её в пользу другой; ЛУЧШИЕ гипотезы выигрышны при любом исходе: и подтверждение, и опровержение продвигают область; гипотезы должны быть МАКСИМАЛЬНО УДАЛЕНЫ друг от друга, главная цель состоит в разнообразии классов механизмов.
ЛИНЗЫ: носитель (в какой физической среде хранится состояние?), эволюция и сравнение (как это предотвращают системы, решившие такую задачу?), коммуникация (какой протокол распространяет ошибку?).
ЭТАП 5 ИЗ 5. ЭВОЛЮЦИЯ (Omega Point 2.0)
Эволюция вариантов: выберите одну операцию и объясните её. Сохраните родительскую гипотезу и её предсказание. Изменённый механизм создаёт новый вариант. Объединяйте гипотезы только после проверки их полного причинного содержания.
Операции: refined (уточнение), combined (объединение), simplified (упрощение), transferred_from_field (перенос из другой области), assumption_inverted (обращение допущения), target_switched (смена мишени).
Возьмите три сильнейшие гипотезы этапа 4 и получите по одному эволюционировавшему варианту каждой. Хотя бы один вариант должен использовать assumption_inverted и хотя бы один transferred_from_field.Исходный текст на английском
STAGE 1 OF 5 — INVERSE FAILURE ANALYSIS (Omega Point method)
Treat the problem space of the task as a system.
Step 1: List the 10 most common ways this system CATASTROPHICALLY FAILS. Focus on DYNAMIC failure modes (feedback loops going wrong, timing failures, cascade collapses, compensatory mechanisms becoming toxic) — NOT on individual components breaking.
Step 2: For each failure mode, ask: "Does this failure happen WITHIN a single subsystem, or does it emerge from INTERACTIONS between subsystems?" Prioritize interaction failures.
Step 3: Group related failure modes into 3-5 clusters. Each cluster becomes a Goal Pillar. Name each pillar after the FAILURE MECHANISM, not the location.
Step 4: Invert each failure cluster into a required healthy steady-state.
NAMING TEST: Could a textbook chapter or Wikipedia article have this EXACT title? → RENAME IT. Your title must describe the MECHANISM OF FAILURE, not the SUBSYSTEM.
Your decomposition must be GENIUS-LEVEL: goals that would make a domain expert say "I never thought to frame it that way." Identify WHY the system fails, not just WHERE failure occurs. Reveal UNEXPECTED dependencies between subsystems. Include at least 1 goal about EMERGENT failure modes that arise from interactions between healthy components and at least 1 about TIME-DEPENDENT dynamics (sequence, synchronization, hysteresis).
Write the pillars as a concise list.
STAGE 2 OF 5 — FRONTIER MAP (Omega Point method)
For the pillars of stage 1, list established knowledge that bears on them. Your output must make a domain expert say "I didn't know that" or "I never connected those two things." If it reads like a review article, you have FAILED. Include:
- at least 2 CONTRADICTIONS: where mechanism A and mechanism B both have strong evidence but make opposite predictions for this system
- at least 2 imports of mechanisms from UNEXPECTED adjacent fields (not the obvious neighbors but genuinely surprising connections)
- at least 1 DOSE-RESPONSE INVERSION, TEMPORAL PARADOX, or CONTEXT-DEPENDENT REVERSAL where the same mechanism has opposite effects depending on conditions
- at least 1 "What if the standard model is wrong?": where the dominant model may be fundamentally incomplete or misleading, citing emerging counter-evidence
- at least 1 measurement revolution: a measurement approach that would make previously invisible mechanisms measurable and change what experiments are possible
For each item, state what SURPRISED you and why a domain expert might not know it yet. Report what is actually known; do not invent findings. Write a concise list.
STAGE 3 OF 5 — GAP QUESTIONS (Omega Point method). Epistemic lens: [LENS]
PHASE 1 — GAP SYNTHESIS: compare what each pillar requires with what the frontier map delivers. Classify gaps: VOID (nothing addresses it), FRAGILE (works only in isolation), PROXY (we measure proxies, not underlying drivers), CLASH (contradictory predictions).
PHASE 2 — CROSS-DOMAIN SCAN: for each VOID or CLASH gap, combine items from 2+ different fields. What does their COMBINATION predict that neither alone predicts?
PHASE 3 — QUESTION GENERATION, strategy matched to the gap: GENESIS_PROBE (void: import analogies from other domains; what fundamental constraints govern this transition?), CONTEXTUAL_DECOUPLING (fragility: what surrounding-system interactions override it?), CAUSAL_PIVOT (proxy: what upstream cause drives the metrics?), ARBITRATION_LOGIC (clash: what sequence, combination, or trade-off resolves them?), ADVERSARIAL_FALSIFICATION (mandatory, at least 1: a question to DISPROVE the most promising item).
Each question: MAX 45 WORDS. Sharp, devastating, paradigm-breaking. The set must include: 2 questions inverting core assumptions ("What if the OPPOSITE is true?"), 1 challenging the whole accepted framework, 1 importing a quantitative cross-field principle (name the specific law and map its variables), 1 "Nobody is asking this" (a blind spot between subdisciplines or only recently measurable). Reject textbook: if a graduate student could answer it in two hours of literature search, REJECT it.
Return 5-8 questions, ranked with the most consequential first, each with one line of rationale.
STAGE 4 OF 5 — GENERATION (Omega Point method)
Answer the task through the gap questions of stage 3 with MAXIMALLY DIVERGENT hypotheses spanning the widest possible space. Each must propose a fundamentally different mechanism or approach — not the same one in a different setting or at a different scale. Zero overlap: if two are variations of the same class, keep only the bolder one.
WHAT EACH ROLE OWES (fill the roles your ROLE DIRECTIVE lists):
1. HERETICAL — must pass ALL 4 tests: TEST 1 (SUBFIELD REVISION) would force a specific subfield to rewrite its core model, name the textbook chapter; TEST 2 (NOT MAINSTREAM) no existing review or Nature/Science perspective argues this; TEST 3 (EMPIRICAL ANCHOR) cite a specific puzzling observation, dataset, or finding supporting it; TEST 4 (TESTABLE SURPRISE) its prediction would SHOCK the field if observed.
2. CROSS-DOMAIN TRANSFER — name the specific equation/law/principle and map each variable. Vague metaphors are not cross-domain transfers.
3. "PHENOMENON DOESN'T EXIST" — ONLY IF YOUR ROLE DIRECTIVE GRANTS IT.
4. At least 2 SCOUTS — from different non-obvious fields with empirical grounding, not yet applied to this problem.
QUALITY RULES: every item must imply a test that proves it wrong in favour of another; the BEST create WIN-WIN: confirming OR refuting both advance the field; items must be MAXIMALLY DISTANT from each other — diversity of mechanism class is the primary goal.
LENSES: Substrate (in what physical medium is the state stored?), Evolution/Comparative (how do systems that solved this prevent it?), Communication (what protocol broadcasts the error?).
STAGE 5 OF 5 — EVOLUTION (Omega Point 2.0)
Variant evolution: choose one operation and explain it. Preserve the parent and its prediction. A changed mechanism creates a new variant. Combine only after checking complete causal content.
Operations: refined, combined, simplified, transferred_from_field, assumption_inverted, target_switched.
Take the three strongest hypotheses of stage 4 and produce one evolved variant of each. At least one variant must use assumption_inverted and at least one transferred_from_field.Познавательные линзы этапа 3
Архитектура распределённого консенсуса. Рассматривайте систему как многоагентную, где здоровье есть «коллективное согласие» подсистем. Отказ означает «рассинхронизацию» или «утрату консенсуса» вместо «поломки»: отдельные части перестают следовать общему протоколу.
Теория информации и исправление ошибок. Рассматривайте отказ как постепенное накопление ошибок при обработке, хранении и передаче информации в системе. Здоровье соответствует точному потоку информации; отказ соответствует нарастанию шума и искажению сигналов.
Сложные адаптивные системы. Рассматривайте систему как сеть взаимодействующих агентов с возникающими на уровне целого свойствами. Отказ есть утрата устойчивости сети, снижение приспособляемости и сбой распределённой координации.
Инженерия надёжности. Рассматривайте систему как ответственную систему с резервированием, отказоустойчивостью и постепенной деградацией. Отказ есть постепенная утрата запасов прочности и резервных систем.
Кибернетические системы управления. Рассматривайте здоровье как устойчивую регуляцию через петли обратной связи. Отказ есть дрейф заданных значений, снижение точности датчиков и ослабление ответа исполнительных механизмов.Исходный текст на английском
Distributed Consensus Architecture. View the system as a multi-agent system where health is a 'collective agreement' between subsystems. Failure is not 'breaking,' it is 'de-synchronization' or 'loss of consensus' where individual parts stop following the global protocol.
Information Theory & Error Correction. View failure as progressive accumulation of errors in the information processing, storage, and transmission of the system. Health is high-fidelity information flow; failure is rising noise and corrupted signals.
Complex Adaptive Systems. View the system as a network of interacting agents with emergent properties. Failure is loss of network robustness, reduced adaptability, and failure of distributed coordination.
Reliability Engineering. View the system as a mission-critical system with redundancy, fault tolerance, and graceful degradation. Failure is the progressive loss of safety margins and backup systems.
Cybernetic Control Systems. View health as stable regulation via feedback loops. Failure is drift in setpoints, degraded sensor accuracy, and weakened actuator response.Системная инструкция на этапе 4
Вы исследователь в области биологии старения. Вы предлагаете научные гипотезы, отвечающие на исследовательские вопросы. Отвечайте только в формате JSON.
Указания ниже определяют, как вы генерируете гипотезы. В них «этот пробел» и «этот вопрос L3» означают полученное вами задание; гипотеза означает предлагаемую вами идею. У этого задания нет списка CLAIMED.
РОЛЕВЫЕ УКАЗАНИЯ: роли, которые должен заполнить этот пробел.
- ЕРЕТИЧЕСКАЯ: заставляет названную подобласть переписать её основную модель. Назовите главу учебника, которую она опровергает, приведите загадочное наблюдение в её поддержку и сделайте различающее предсказание таким, чтобы оно потрясло область, если подтвердится.
- МЕЖДИСЦИПЛИНАРНЫЙ ПЕРЕНОС: перенос из физики, инженерии, экологии или материаловедения. Назовите конкретное уравнение, закон или принцип и сопоставьте каждой переменной биологическую величину. Расплывчатые метафоры междисциплинарным переносом не являются.
- НЕ МЕНЕЕ ДВУХ РАЗВЕДЧИКОВ: каждый представляет механизм из отдельной неочевидной области с реальным эмпирическим обоснованием, ещё не применённый к этой задаче. Нужны оба: именно они дают самые неожиданные идеи всего запуска.
Этому пробелу НЕ предоставлено место «ЯВЛЕНИЯ НЕ СУЩЕСТВУЕТ». Не утверждайте, что явление является артефактом измерения, эпифеноменом или ошибочным объединением разных явлений. Эту роль несут другие пробелы запуска, и высказать её достаточно один раз.
СКОЛЬКО ГИПОТЕЗ: перечисленные выше роли составляют минимум, и заполнить нужно все, включая обоих разведчиков; если занятая форма закрывает очевидного разведчика, обратитесь к менее очевидной области. Сверх этого минимума нет ни целевого числа, ни квоты: добавляйте ещё одного РАЗВЕДЧИКА, только пока у вас остаётся класс механизмов, действительно отличный от всех остальных гипотез этого пробела И от всех форм из списка CLAIMED. Если следующая гипотеза оказывается переодетой версией уже написанной (то же причинное утверждение в другой ткани, в другом масштабе или с другой молекулой), ОСТАНОВИТЕСЬ. Несколько отличных соперников лучше восьми гипотез, из которых пять повторяют друг друга. Никогда не добавляйте гипотезы ради числа: такое заполнение обходится здесь дороже всего.
ЗАЧЕМ: в предыдущем запуске получили 100 гипотез, основных идей среди которых было 45. Двенадцать семейств идей покрыли 67 из них, а три пробела из двадцати не дали ничего, что не было бы уже сказано. Каждый повтор был оплачен полной ценой.Исходный текст на английском
You are a research scientist in the biology of ageing. You propose scientific hypotheses that answer research questions. Answer with JSON only.
The directives below govern how you generate. In them, "this gap" and "this L3 question" mean the task you are given; a hypothesis is an idea you propose. This task has no CLAIMED list.
ROLE DIRECTIVE — the roles this gap must fill:
- HERETICAL — forces a named subfield to rewrite its core model. Name the textbook chapter it breaks, cite the puzzling observation that supports it, and make the discriminating prediction one that would shock the field if observed.
- CROSS-DOMAIN TRANSFER — import from physics, engineering, ecology, or materials science. Name the specific equation/law/principle and map each variable to a biological quantity. Vague metaphors are not cross-domain transfers.
- AT LEAST TWO SCOUTS — each a mechanism from a different non-obvious field with real empirical grounding, not yet applied to this problem. Both are required: they are where the least expected ideas of the whole run come from.
This gap was NOT granted the PHENOMENON-DOESN'T-EXIST slot. Do not argue that the phenomenon is a measurement artifact, an epiphenomenon or a lumping error. Other gaps in this run carry that role and it only needs making once.
HOW MANY HYPOTHESES: the required roles above are a minimum and must all be filled, including
both scouts; if a claimed shape blocks the obvious scout, go to a less obvious field. Beyond
that minimum there is no target number and no quota: add a further SCOUT only while you still
have a mechanism class that is genuinely distinct from every other hypothesis in this gap AND
from every shape on the CLAIMED list. When the next hypothesis you would write is a
re-dressing of one you have already written -- the same causal claim in another tissue, at
another scale, or with another molecule -- STOP. A few excellent rivals beat eight where five
restate each other. Never pad to reach a number; padding is the single most expensive thing
you can do here.
WHY: a previous run produced 100 hypotheses whose core ideas numbered 45. Twelve idea-families
covered 67 of them, and three of its twenty gaps produced nothing that had not already been
said. Every restatement was paid for at full price.Четвёртая роль в каждом пятом задании
- ЯВЛЕНИЯ НЕ СУЩЕСТВУЕТ: докажите, что эффект в этом пробеле является артефактом измерения, эпифеноменом или несколькими разными явлениями, ошибочно объединёнными в одно. Эта роль предоставлена лишь немногим пробелам запуска; используйте её с толком.
Этому пробелу ПРЕДОСТАВЛЕНО место «ЯВЛЕНИЯ НЕ СУЩЕСТВУЕТ», поэтому одна из ваших гипотез должна утверждать, что эффект может быть нереальным.Исходный текст на английском
- PHENOMENON-DOESN'T-EXIST — argue the effect in this gap is a measurement artifact, an epiphenomenon, or several distinct phenomena wrongly lumped together. This role is granted to only a few gaps in this run; make it count.
This gap WAS granted the PHENOMENON-DOESN'T-EXIST slot, so one of your hypotheses must argue the effect may not be real.Выбор пяти гипотез из кандидатов§
В многоступенчатой схеме и в схеме Omega Point генератор выбирал пять гипотез из всех своих кандидатов последним запросом с общей системной инструкцией генератора. Если генератор называл меньше пяти, список дополняли кандидатами в порядке их появления.
Сообщение пользователя
Исходные сведения:
[ИСХОДНЫЕ СВЕДЕНИЯ]
Исследовательский вопрос:
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Гипотезы-кандидаты:
[C1] [ГИПОТЕЗА-КАНДИДАТ 1]
[C2] [ГИПОТЕЗА-КАНДИДАТ 2]
[CN] [ГИПОТЕЗА-КАНДИДАТ N]
Выберите 5 гипотез, которые, по-вашему, с наибольшей вероятностью подтвердятся в эксперименте и наиболее ценны как ответы на исследовательский вопрос. Лучшую поставьте первой.
Верните JSON {"selected":["C..", ...]}Исходный текст на английском
Research background:
[BACKGROUND]
Research question:
[RESEARCH QUESTION]
Candidate hypotheses:
[C1] [CANDIDATE HYPOTHESIS 1]
[C2] [CANDIDATE HYPOTHESIS 2]
[CN] [CANDIDATE HYPOTHESIS N]
Select the 5 hypotheses you consider most likely to be confirmed by experiment and most valuable as answers to the research question. Best first.
Return JSON {"selected":["C..", ...]}Оценка совпадения с эталоном§
Судьями служили GPT-5.6 Sol, Grok 4.7, Claude Opus 5.5 и Gemini 4 Argon со средним уровнем рассуждения. Судья получал пять гипотез одного набора в одном запросе, в псевдослучайном порядке с метками P1-P5. Исход гипотезы определяли три судьи других компаний по полю match: гипотезу считали совпадающей с эталоном, если не менее двух из них поставили ей 3 балла или выше.
Запрос судье§
Этот же запрос использовали при повторной оценке по эталонам, составленным Gemini 4 Argon; в нём менялись только эталонное утверждение и ключевые элементы.
Системная инструкция
Вы специалист по биологии старения. Вы оцениваете предложенные гипотезы в сравнении с опубликованным результатом и как самостоятельные научные утверждения. Отвечайте только в формате JSON.Исходный текст на английском
You are an expert in the biology of ageing. You grade proposed hypotheses against a published finding and as scientific claims in their own right. Answer with JSON only.Сообщение пользователя
Исходные сведения, полученные авторами гипотез:
[ИСХОДНЫЕ СВЕДЕНИЯ]
Исследовательский вопрос, полученный авторами гипотез:
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Опубликованный результат (эталон):
[ЭТАЛОННОЕ УТВЕРЖДЕНИЕ]
Ключевые элементы:
- [КЛЮЧЕВОЙ ЭЛЕМЕНТ 1]
- [КЛЮЧЕВОЙ ЭЛЕМЕНТ 2]
Предложенные гипотезы:
[P1] [ГИПОТЕЗА P1]
[P2] [ГИПОТЕЗА P2]
[P3] [ГИПОТЕЗА P3]
[P4] [ГИПОТЕЗА P4]
[P5] [ГИПОТЕЗА P5]
Дайте каждой предложенной гипотезе три оценки.
1. match, целое число от 0 до 5:
5 - формулирует тот же причинный результат, включая все ключевые элементы
4 - формулирует центральный причинный результат; не более одного второстепенного ключевого элемента пропущено или изложено менее определённо
3 - верно называет основной механизм или мишень, но пропускает важные ключевые элементы или противоречит им
2 - относится к теме результата или к классу его механизма, но содержит другое причинное утверждение
1 - связана с результатом лишь отдалённо
0 - не связана с результатом или противоречит ему
2. compatible, true или false: могут ли эта гипотеза и опубликованный результат быть верны одновременно? Другой механизм, действующий наряду с описанным в результате, совместим с ним; утверждение, которое результат опровергает, несовместимо.
3. plausibility, целое число от 1 до 5: оценка гипотезы как самостоятельного научного утверждения, независимо от её совпадения с результатом:
5 - хорошо подкреплена установленными биологическими данными; сильное, конкретное, проверяемое объяснение для вопроса
4 - согласуется с установленными биологическими данными и проверяема; правдоподобное конкурирующее объяснение
3 - возможна, но умозрительна или слабо связана с вопросом
2 - натянута; опирается на неподкреплённые связи
1 - противоречит установленным биологическим данным или не отвечает на вопрос
Оценивайте только содержание. Стиль, длину, смелость и формулировки не учитывайте.
Верните JSON {"scores":[{"id":"P1","match":0,"compatible":true,"plausibility":1,"reason":"одно или два предложения"}]}Исходный текст на английском
Research background given to the proposers:
[BACKGROUND]
Research question given to the proposers:
[RESEARCH QUESTION]
Published finding (ground truth):
[REFERENCE FINDING]
Key points:
- [KEY POINT 1]
- [KEY POINT 2]
Proposed hypotheses:
[P1] [HYPOTHESIS P1]
[P2] [HYPOTHESIS P2]
[P3] [HYPOTHESIS P3]
[P4] [HYPOTHESIS P4]
[P5] [HYPOTHESIS P5]
For each proposed hypothesis give three judgements.
1. match, an integer from 0 to 5:
5 - states the same causal finding, including every key point
4 - states the central causal finding; at most one secondary key point missing or vaguer
3 - identifies the right core mechanism or target but misses or contradicts important key points
2 - related to the finding's topic or mechanism class, but a different causal claim
1 - only loosely related
0 - unrelated, or contradicts the finding
2. compatible, true or false: could this hypothesis and the published finding both be true at the same time? A different mechanism acting alongside the finding is compatible; a claim the finding refutes is not.
3. plausibility, an integer from 1 to 5, judging the hypothesis as a scientific claim in its own right, regardless of whether it matches the finding:
5 - well supported by established biology; a strong, specific, testable explanation for the question
4 - consistent with established biology and testable; a credible competitor explanation
3 - possible but speculative or weakly connected to the question
2 - strained; relies on unsupported links
1 - conflicts with established biology or does not answer the question
Judge content only. Ignore style, length, boldness and wording.
Return JSON {"scores":[{"id":"P1","match":0,"compatible":true,"plausibility":1,"reason":"one or two sentences"}]}Прогноз подтверждения§
Прогнозирующие модели получали готовые гипотезы без названия статьи, эталона, баллов судей и ответов других моделей. Эти три запроса приведены и в приложении Б дополнительных материалов.
Подробная инструкция§
Пять гипотез одного задания шли в одном запросе в перемешанном порядке с анонимными идентификаторами H1-H5.
Системная инструкция
Вы советуете исследователям, какие причинные гипотезы в биологии старения заслуживают экспериментальной проверки.
Используйте только предоставленные исходные сведения, исследовательский вопрос, текст гипотез и ваши прежние научные знания. У вас нет инструментов и доступа к интернету. Результаты экспериментов вам неизвестны.
Спрогнозируйте экспериментальное подтверждение собственного причинного утверждения каждой гипотезы в указанной в ней биологической системе. Верните полный объект JSON в этом ответе.Исходный текст на английском
You advise researchers which causal hypotheses deserve experimental testing in the biology of ageing.
Use only the supplied background, research question, hypothesis text and your prior scientific knowledge. You have no tools or internet access. Experimental outcomes are unknown to you.
Forecast experimental support for each hypothesis's own causal claim in its stated biological system. Return a complete JSON object in this reply.Сообщение пользователя
ИСХОДНЫЕ СВЕДЕНИЯ
[ИСХОДНЫЕ СВЕДЕНИЯ]
ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
ГИПОТЕЗЫ-КАНДИДАТЫ
[H1] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 1]
[H2] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 2]
[H3] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 3]
[H4] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 4]
[H5] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 5]
Оцените КАЖДУЮ гипотезу независимо. Подтвердиться могут несколько разных механизмов, а может и ни один. Обязательного числа рекомендаций нет, и рекомендовать по одной гипотезе на вопрос не требуется.
Для каждой гипотезы оцените p_experimental_support от 0 до 1: вашу вероятность того, что хорошо контролируемый различающий эксперимент, грамотно выполненный на виде, ткани и в объёме, указанных в гипотезе, подтвердит её центральное причинное утверждение. Оценивайте само это утверждение с учётом правдоподобного альтернативного механизма. Это субъективный научный прогноз, а не наблюдаемая частота. Если предоставленных сведений недостаточно для обоснования какой-либо численной оценки, верните null и объясните, каких сведений не хватает.
Дайте recommend_for_testing отдельным логическим значением: посоветовали бы вы исследователю потратить экспериментальные ресурсы на проверку этой гипотезы сейчас с учётом её научной обоснованности, проверяемости, допущений и противоречий? Можно рекомендовать несколько гипотез или ни одной. Рекомендация не гарантирует успеха. Для положительной рекомендации нужна численная оценка. При сравнении ваша рекомендация будет сохранена точно в том виде, в каком она дана.
Используйте принятые научные критерии: конкретная причинная цепь; согласие с установленными биологическими данными; осуществимая различающая проверка; соответствие поставленному вопросу и системе; мало неподкреплённых допущений. Новизна описывает гипотезу и не служит доводом за или против утверждения. Не учитывайте стиль изложения, длину, тон, плотность названий генов и анонимный порядок кандидатов. Не угадывайте содержание нераскрытой статьи и не предсказывайте оценку другого оценщика.
Дайте краткое научное обоснование. В support_from_background приводите только дословные фрагменты предоставленных ИСХОДНЫХ СВЕДЕНИЙ или пустой массив. Дополнительные допущения и противоречия указывайте отдельно. Назовите конкретное вмешательство, измеряемый показатель и необходимые контрольные условия и укажите исходы, подтверждающие и опровергающие утверждение. Это предлагаемые наблюдения, а не увиденные вами результаты. Не объявляйте о предстоящем исследовании, не ищите сведения и не описывайте работу, которую сделаете позже; дайте полные прогнозы сейчас.
Верните ровно такую структуру, указав каждого предоставленного кандидата один раз:
{"protocol":"experimental-support-v1","forecasts":[{"id":"H1","p_experimental_support":0.5,"recommend_for_testing":false,"support_from_background":[],"assumptions":[],"contradictions":[],"reason":"Краткое обоснование","test":{"intervention":"...","measurement":"...","controls":"...","supports_if":"...","refutes_if":"..."}}]}Исходный текст на английском
BACKGROUND
[BACKGROUND]
RESEARCH QUESTION
[RESEARCH QUESTION]
CANDIDATE HYPOTHESES
[H1] [FULL HYPOTHESIS 1]
[H2] [FULL HYPOTHESIS 2]
[H3] [FULL HYPOTHESIS 3]
[H4] [FULL HYPOTHESIS 4]
[H5] [FULL HYPOTHESIS 5]
Assess EVERY hypothesis independently. Several different mechanisms may be supported, and none may be supported. There is no required number of recommendations and no requirement to recommend one hypothesis per question.
For each hypothesis estimate p_experimental_support between 0 and 1: your probability that a well-controlled discriminating experiment, competently performed in the species, tissue and scope stated in the hypothesis, would support its central causal claim. Evaluate that claim itself, including a plausible alternative mechanism. This is a subjective scientific forecast, not an observed frequency. If the supplied information cannot justify any numerical estimate, return null and explain the missing information.
Give recommend_for_testing as a separate boolean: would you advise a researcher to spend experimental resources testing this hypothesis now, given its scientific support, testability, assumptions and contradictions? You may recommend multiple hypotheses or none. A recommendation is not a guarantee of success. A numerical estimate is required for a positive recommendation. The comparison will retain your recommendation exactly as issued.
Use the existing scientific considerations: a specific causal chain; consistency with established biology; a feasible discriminating test; fit to the stated question and system; few unsupported assumptions. Novelty is descriptive and is not evidence for or against a claim. Ignore prose style, length, tone, gene-name density and the anonymous candidate order. Do not guess the contents of an undisclosed article or predict another evaluator's score.
Provide a short scientific justification. Quote only literal fragments of the supplied BACKGROUND in support_from_background, or use an empty array. Keep additional assumptions and contradictions separate. Name a concrete intervention, measured readout and necessary controls, and specify outcomes supporting and refuting the claim. These are proposed observations, not results you have seen. Do not announce research, search for information or describe work you will do later; give the complete forecasts now.
Return exactly this structure, with every supplied candidate once:
{"protocol":"experimental-support-v1","forecasts":[{"id":"H1","p_experimental_support":0.5,"recommend_for_testing":false,"support_from_background":[],"assumptions":[],"contradictions":[],"reason":"Short justification","test":{"intervention":"...","measurement":"...","controls":"...","supports_if":"...","refutes_if":"..."}}]}Короткий вопрос для пяти гипотез§
Пять гипотез одного задания шли в одном запросе, как и с подробной инструкцией. Модель отвечала только «да» или «нет».
Системная инструкция
Верните объект JSON.Исходный текст на английском
Return a JSON object.Сообщение пользователя
Для каждой из приведённых ниже гипотез: будет ли она подтверждена экспериментально?
ИСХОДНЫЕ СВЕДЕНИЯ
[ИСХОДНЫЕ СВЕДЕНИЯ]
ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
ГИПОТЕЗЫ
[H1] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 1]
[H2] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 2]
[H3] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 3]
[H4] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 4]
[H5] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ 5]
Верните объект JSON с массивом "forecasts". Для каждой гипотезы укажите её "id" и логическое значение "confirmed".Исходный текст на английском
For each hypothesis below, will it be confirmed experimentally?
BACKGROUND
[BACKGROUND]
RESEARCH QUESTION
[RESEARCH QUESTION]
HYPOTHESES
[H1] [FULL HYPOTHESIS 1]
[H2] [FULL HYPOTHESIS 2]
[H3] [FULL HYPOTHESIS 3]
[H4] [FULL HYPOTHESIS 4]
[H5] [FULL HYPOTHESIS 5]
Return a JSON object with a "forecasts" array. For each hypothesis include its "id" and a boolean "confirmed".Короткий вопрос для одного утверждения§
Запрос использовали на наборе 50/50 из подтверждённых и опровергнутых утверждений. Каждое утверждение шло в отдельном новом разговоре без исходных сведений и вопроса.
Системная инструкция
Верните объект JSON.Исходный текст на английском
Return a JSON object.Сообщение пользователя
Будет ли эта гипотеза подтверждена экспериментально?
ГИПОТЕЗА
[H000000000001] [ПОЛНЫЙ ТЕКСТ ГИПОТЕЗЫ]
Верните объект JSON с массивом "forecasts", содержащим "id" этой гипотезы и логическое значение "confirmed".Исходный текст на английском
Will this hypothesis be confirmed experimentally?
HYPOTHESIS
[H000000000001] [FULL HYPOTHESIS]
Return a JSON object with a "forecasts" array containing this hypothesis's "id" and a boolean "confirmed".Оригинальность идей в адаптации LiveIdeaBench§
На отдельном наборе из 100 научных ключевых слов каждый генератор предлагал по две идеи на ключевое слово теми же тремя способами, что и гипотезы. Запрос идеи, запрос рецензенту и запрос о сходстве двух идей взяты из LiveIdeaBench дословно.
Один запрос для двух идей§
В многоступенчатой схеме и в схеме Omega Point этапы были теми же, что для гипотез, со словом «идеи» вместо «гипотезы» и с этим заданием вместо исходных сведений и вопроса. На этапах 4 и 5 идеи возвращались как {"ideas":[{"idea":"the idea"}],"notes":""}.
Системная инструкция
Вы учёный, который предлагает исследовательские идеи.Исходный текст на английском
You are a scientist who proposes research ideas.Сообщение пользователя
ЗАДАНИЕ
Я передам ваши следующие ответы экспертной комиссии «Хорошая научная идея». Если комиссия сочтёт вашу идею хорошей, вы получите вознаграждение. Ваше ключевое слово: «[КЛЮЧЕВОЕ СЛОВО]». Можно привести справочные сведения. Идею НУЖНО изложить кратко, не более чем в 100 словах вместе со справочными сведениями. (Примечание: хорошие научные идеи оригинальны (вносят новый вклад), осуществимы (технически реализуемы), ясно сформулированы и решают значимые задачи области.)
Цель состоит в хороших научных идеях, связанных с этим ключевым словом.
Предложите две идеи.
Каждая идея должна быть полной самостоятельной научной идеей не длиннее 100 слов (вместе со справочными сведениями). Верните JSON {"ideas":[{"idea":"идея"}],"notes":""}Исходный текст на английском
TASK
I'll be submitting your next responses to a "Good Scientific Idea" expert review panel. If they consider your idea to be a good one, you'll receive a reward. Your assigned keyword is: "[KEYWORD]". You may provide background information. The idea MUST be concisely expressed within 100 words total (including any background information). (Note: good scientific ideas should be original (novel contribution), feasible (technically implementable), clearly articulated, and address meaningful problems in the field.).
The goal is good scientific ideas related to this keyword.
Propose two ideas.
Each idea must be a complete, self-contained scientific idea within 100 words (including any background). Return JSON {"ideas":[{"idea":"the idea"}],"notes":""}Выбор двух идей из кандидатов§
Запрос завершал многоступенчатую схему и схему Omega Point на наборе ключевых слов.
Сообщение пользователя
Ключевое слово: «[КЛЮЧЕВОЕ СЛОВО]»
Идеи-кандидаты:
[C1] [ИДЕЯ-КАНДИДАТ 1]
[C2] [ИДЕЯ-КАНДИДАТ 2]
[CN] [ИДЕЯ-КАНДИДАТ N]
Выберите 2 идеи для экспертной комиссии «Хорошая научная идея», которая оценивает оригинальность, осуществимость и ясность. Идеи должны отличаться друг от друга. Лучшую поставьте первой.
Верните JSON {"selected":["C..","C.."]}Исходный текст на английском
Keyword: "[KEYWORD]"
Candidate ideas:
[C1] [CANDIDATE IDEA 1]
[C2] [CANDIDATE IDEA 2]
[CN] [CANDIDATE IDEA N]
Select the 2 ideas to submit to a "Good Scientific Idea" expert review panel that judges originality, feasibility and clarity. They must differ from each other. Best first.
Return JSON {"selected":["C..","C.."]}Запрос рецензенту§
Каждую идею судья оценивал в отдельном запросе. Тот же запрос использовали при сравнении оригинальности отобранных и исключённых гипотез.
Системная инструкция
Вы чрезвычайно требовательный научный рецензент с высочайшими критическими стандартами, как в Nature или Science. Оценивая научные идеи, вы рассматриваете три ключевых измерения:
1. originality: новый вклад в неисследованные области или новаторские подходы к существующим задачам
2. feasibility: техническая реализуемость и практичность
3. clarity: насколько ясно и понятно сформулирована идея
Ваш ответ должен состоять из двух частей: текстового анализа и следующего за ним блока оценок в JSON.
Сначала дайте краткий анализ идеи (менее 100 слов). Затем по каждому измерению поставьте оценку от 1 до 10, где 1-3 = плохо, 4-6 = средне, 7-10 = отлично.
Например:
```json
{
"originality": <оценка_от_1_до_10>,
"feasibility": <оценка_от_1_до_10>,
"clarity": <оценка_от_1_до_10>
}```Исходный текст на английском
You are an extremely demanding scientific reviewer with the highest critical standards, like those at Nature or Science. When evaluating scientific ideas, you will assess them on three key dimensions:
1. originality: Novel contribution to unexplored areas or innovative approaches to existing problems
2. feasibility: Technical implementation and practicality
3. clarity: How well-articulated and easy to understand the idea is
Your response should consist of two parts: a text analysis followed by a JSON score block.
First, provide your brief analysis (less than 100 words) of the idea. Then, for each dimension, provide a score from 1 to 10 where 1-3 = poor, 4-6 = average, 7-10 = excellent.
For example:
```json
{
"originality": <score_1_to_10>,
"feasibility": <score_1_to_10>,
"clarity": <score_1_to_10>
}```Сообщение пользователя
Оцените, пожалуйста, следующую научную идею:
[ИДЕЯ]Исходный текст на английском
Please evaluate the following scientific idea:
[IDEA]Сходство двух идей§
Запрос шёл без системной инструкции. Ответы переводили в баллы: A = 10, B = 7, C = 4, D = 1.
Сообщение пользователя
Вот две идеи, поданные на конкурс «Хорошие научные идеи»; обе относятся к «[КЛЮЧЕВОЕ СЛОВО]»:
# Первая идея
[ПЕРВАЯ ИДЕЯ]
# Вторая идея
[ВТОРАЯ ИДЕЯ]
# Вопрос
Оцените сходство этих двух идей, относящихся к «[КЛЮЧЕВОЕ СЛОВО]». Выберите лучший ответ:
A. Совершенно разные идеи о разных задачах, хотя обе относятся к одному ключевому слову.
B. Разные идеи о сходных задачах.
C. Сходные идеи о сходных или одинаковых задачах.
D. Академически одинаковые идеи с тем же основным подходом и той же постановкой задачи.
ОТВЕТЬТЕ ТОЛЬКО A/B/C/D, БЕЗ ОБЪЯСНЕНИЙИсходный текст на английском
Here are two ideas submitted to "Good Scientific Ideas" Competition, which both relate to "[KEYWORD]":
# The first idea
[FIRST IDEA]
# The second idea
[SECOND IDEA]
# Question
Evaluate the similarity between these two ideas that both relate to "[KEYWORD]". Please choose the best answer:
A. Completely different ideas addressing different problems, despite relating to the same keyword.
B. Different ideas but addressing similar problems.
C. Similar ideas addressing similar or identical problems.
D. Academically identical ideas with the same core approach and problem statement.
ONLY ANSWER A/B/C/D, DO NOT EXPLAINОценка подсказки в исследовательском вопросе§
Gemini 4 Argon с высоким уровнем рассуждения и Grok 4.7 оценивали 50 вопросов по шкале подсказки, зафиксированной до анализа. Исходы гипотез модели не получали.
Запрос оценки подсказки§
Шкала вставлена в запрос дословно, вместе с разметкой Markdown.
Системная инструкция
Вы оцениваете исследовательские вопросы для методического исследования генерации гипотез. Отвечайте только в формате JSON.Исходный текст на английском
You rate research questions for a methods study of hypothesis generation. Answer with JSON only.Сообщение пользователя
Оцените, сколько исследовательский вопрос (и отдельно исходные сведения вместе с вопросом) уже сообщает автору гипотез о скрытом эталонном результате. Используйте ровно эту шкалу:
Оценивайте пересечение вопроса со скрытым эталоном, а не биологическое правдоподобие и не грамматическую закрытость вопроса. Оценка показывает, насколько сужен поиск; она не означает, что задание нарушает протокол бенчмарка. Признак может быть законным предварительным знанием.
- **0, только явление:** называет организм, болезнь, измеряемый исход или объясняемое явление без предлагаемого класса объяснений или вмешательства. Общие слова вроде «молекулярный механизм», «причинный механизм» или «старение» подсказкой не считаются.
- **1, класс объяснения:** указывает широкий источник, процесс, компартмент или семейство объяснений, совпадающее с эталоном, либо связь вышестоящего воздействия с фенотипом. Определяющего посредника, вмешательство или причинный механизм по-прежнему нужно найти.
- **2, существенная часть ответа дана:** называет конкретное вмешательство или конкретный элемент механизма с ожидаемым направлением эффекта; называет специфичные для эталона молекулярные звенья, которые нужно связать; или задаёт ограничительную многочастную причинную схему, в которой подтверждение связи и определение неназванного участника восстановили бы центральное утверждение эталона. Неизвестные посредники по-прежнему не позволяют считать это полным ответом.
Для каждого задания запишите точный фрагмент с подсказкой, обоснование и то, что остаётся скрытым. Запишите `input_score` для исходных сведений вместе с вопросом по той же шкале. Запишите `alternative_score` при подлинной неоднозначности между соседними категориями до просмотра исходов. Не меняйте оценки ради улучшения корреляции. SOD1G93A в вопросе о двигательных нейронах называет модель болезни; недостающий причинный механизм он не раскрывает. Примеры с AMPK и двигательными нейронами уже были просмотрены вместе с исходами на предыдущем шаге; явно сообщите об этом и повторите анализ без них.
Задание [ИДЕНТИФИКАТОР ЗАДАНИЯ]
Исходные сведения, полученные авторами гипотез:
[ИСХОДНЫЕ СВЕДЕНИЯ]
Исследовательский вопрос, полученный авторами гипотез:
[ИССЛЕДОВАТЕЛЬСКИЙ ВОПРОС]
Скрытый эталонный результат:
[ЭТАЛОННОЕ УТВЕРЖДЕНИЕ]
Ключевые элементы:
- [КЛЮЧЕВОЙ ЭЛЕМЕНТ 1]
- [КЛЮЧЕВОЙ ЭЛЕМЕНТ 2]
Верните JSON {"score":0,"input_score":0,"alternative_score":0,"cue_excerpt":"точные слова вопроса, несущие подсказку, или пустая строка","rationale":"одно предложение","hidden":"что остаётся скрытым"}Исходный текст на английском
Rate how much the research question (and, separately, the background plus the question) already tells a proposer about the hidden reference finding. Use this rubric exactly:
Rate overlap of the question with the hidden reference, not biological plausibility or whether the question is grammatically closed. The rating measures how much the search is constrained; it is not a determination that a task violates the benchmark protocol. A feature may be legitimate prior knowledge.
- **0, phenomenon only:** identifies the organism, disease, measured outcome or phenomenon to explain, with no proposed explanatory class or intervention. Generic words such as molecular mechanism, causal mechanism or ageing do not count as cues.
- **1, explanatory class:** specifies a broad source, process, compartment or explanatory family matching the reference, or an upstream exposure-to-phenotype relation. The identifying mediator, intervention or causal mechanism must still be supplied.
- **2, substantive answer supplied in part:** states a concrete intervention or specific mechanistic element with its expected directional effect; names reference-specific molecular nodes to connect; or supplies a restrictive multi-part causal pattern for which affirming the relation and identifying an unnamed actor would recover the central reference claim. Unknown mediators still prevent treating this as a complete answer.
For every task record the exact cue excerpt, a rationale and what remains hidden. Record `input_score` for background plus question using the same rubric. Record `alternative_score` for genuine adjacent-category ambiguity before looking at outcomes. Do not revise scores to improve a correlation. SOD1G93A in the motor-neuron question names the disease model, not the missing causal mechanism. The AMPK and motor-neuron examples were already seen with outcomes in the earlier turn; explicitly disclose that exposure and repeat the analysis excluding both.
Task [TASK ID]
Background given to the proposers:
[BACKGROUND]
Research question given to the proposers:
[RESEARCH QUESTION]
Hidden reference finding:
[REFERENCE FINDING]
Key points:
- [KEY POINT 1]
- [KEY POINT 2]
Return JSON {"score":0,"input_score":0,"alternative_score":0,"cue_excerpt":"exact words of the question that carry the cue, or empty","rationale":"one sentence","hidden":"what remains hidden"}Дополнительный текст для моделей Grok§
Модели Grok вызывались через агентский интерфейс командной строки. В пробных запросах без этого текста Grok 4.5 отвечал объявлением о предстоящей работе и останавливался. Текст добавляли в конец системной инструкции и в конец сообщения пользователя при генерации, оценке судьями, прогнозе, оценке оригинальности и оценке подсказки. Научное содержание запросов он не меняет.
Текст в конце запроса§
Вторая фраза добавлялась только к сообщению пользователя в запросах с ответом в формате JSON.
Текст
У вас нет инструментов, файлов и доступа к интернету. Дайте полный окончательный ответ одним сообщением в запрошенном формате. Никогда не описывайте, что собираетесь сделать; сделайте это сейчас.
Ваш ответ должен начинаться с { и состоять только из объекта JSON.Исходный текст на английском
You have no tools, no files and no internet access. Give your complete final answer in this single reply, in the requested format. Never describe what you are going to do; do it now.
Your reply must start with { and be only the JSON object.