# Описание опубликованных данных

Данные к препринту «Генерация и отбор четырьмя большими языковыми моделями научных гипотез, совпадающих с опубликованным экспериментальным результатом, в бенчмарке на 50 статьях по биологии старения»: https://eternalsearch.net/ru/omega/benchmark/article.

## Состав

- `generation-outcomes.json`: 2997 гипотез четырёх генераторов на окончательных 50 задачах; основной исход по большинству трёх судей других компаний, более строгий исход и сохранённые прогнозы. Указаны исходный файл и его SHA-256.
- `analysis.json`: оценки генерации, интервалы, 12 разведочных парных сравнений с поправкой Холма, извлечённые результаты прогнозирования, адреса опубликованных отчётов и их контрольные суммы.
- `review-analyses.json`: дополнительные расчёты приложения Л с контрольными суммами источников.
- `article-selection.json`: сохранённый запрос PubMed, дата выгрузки, 72 предварительных исключения, порядок 212 кандидатов, идентификаторы окончательных 50 задач и контрольные суммы исходных файлов. Сводка журналов извлечения не является последовательной схемой всех исключений: записи обновлялись при заменах.
- `judge-scores.json`: баллы соответствия 0-5 всех четырёх судей для каждой из 2997 гипотез: генератор, способ генерации, задача, исходный номер гипотезы и баллы в порядке `judges`. SHA-256 всех 2400 исходных файлов оценок сохранены в `fileSha256`.
- `token-audit.json`: суммы `generation_output_tokens` по 50 задачам каждой модели и режима, отношения A/O и SHA-256 всех 600 файлов генерации.

Отчёты опытов прогнозирования опубликованы на сайте (приложение О дополнительных материалов); их адреса и контрольные суммы перечислены в `analysis.json`. Сохранённые результаты не требуют новых вызовов языковых моделей.

## Построчные решения и дополнительные расчёты

В `analysis.json` массив `stage` содержит три набора генераторов. В каждой строке `stage[].rows[]`:

- `task` и `id` идентифицируют задачу и гипотезу в опубликованном наборе прогнозирования;
- `y` равен 1 при основном соответствии статье по большинству трёх судей и 0 в остальных случаях;
- `forecasts` содержит бинарные прогнозы моделей;
- `selected` равен `true`, только если все четыре модели из `selectionDefinition.members` дали прогноз `true`; ответ Astra повторно используется на втором этапе;
- `coin` содержит ранее сохранённый случайный бинарный прогноз.

Поле `selected` описывает решение процедуры отбора, поле `y` описывает исход. Неиспользуемое поле `yes`, равное `false` в исторических отчётах, удалено из этих строк; архивные исходники не переписывались. Сумма `selected` равна 19, 19 и 22, списки сверены с тремя файлами `selected.csv`.

Идентификаторы H1-H5 в наборе прогнозирования назначены после изменения порядка гипотез. Для присоединения судейских баллов используется пара `task` и `candidate.id` из соответствующего `*-generated-confirmation-20261023/report.json`. При соединении с `generation-outcomes.json` следует использовать сохранённый `candidate.index`, а не вычислять первоначальный индекс из H1-H5.

`stageThresholds` содержит исходы окончательного отбора при порогах 3 и 4 у большинства судей. `known` означает число всех соответствующих гипотез исходного набора при том же пороге; `matches` означает число соответствующих среди отобранных; `selected` означает размер окончательного списка. `ppvCi` и `sensCi` получены по 10 000 повторных выборок целых задач с начальным числом 20261026. Число `valid` сообщает, в скольких повторах знаменатель был положительным. Это дополнительные ретроспективные расчёты при неизменных списках и основном пороге.

`stageProgress` содержит исходный набор и оба этапа отбора для каждого генератора. В каждой записи `selected` означает число оставшихся гипотез, `matches` число соответствующих статье среди них, `known` число всех соответствующих статье гипотез исходного набора. Показатели `ppv` и `sens` равны соответственно `matches/selected` и `matches/known`; `lostSincePrevious` равно числу соответствующих статье гипотез, исключённых только на данном этапе. Интервалы `ppvCi` и `sensCi` получены по 10 000 совместных повторных выборок целых задач с начальным числом 20261026. Все этапы внутри повтора используют одинаковые задачи. При нулевом знаменателе повтор исключается только из расчёта соответствующего показателя. До начала отбора чувствительность равна 1 по определению.

`judgeAgreement` содержит согласие судей для бинарных голосов «балл 3 и выше» и «балл 4 или 5». В `pairs` для каждой из шести пар судей по всем 2997 гипотезам приведены таблица голосов (`both`, `onlyA`, `onlyB`, `neither`), доля совпавших голосов, каппа Коэна с 95 % ДИ и взвешенная каппа с квадратичными весами по шкале 0-5; последняя совпадает со значением исходного отчёта в `secondary`. В `panel` для трёх судей других компаний, определявших исход каждой гипотезы, приведены распределение числа положительных голосов и каппа Флейса с 95 % ДИ. Интервалы получены по 10 000 повторных выборок 50 задач с начальным числом 20261025. `selectedVotes` содержит то же распределение для гипотез окончательных списков трёх генераторов.

`sizeControls` содержит расчёт равновероятного отбора фиксированного размера без возвращения. `pool=all` означает весь набор; имя модели означает только гипотезы с её положительным прогнозом. `distribution` задаёт точное гипергеометрическое распределение числа соответствий, `matchesRange95` задаёт его центральный 95-процентный диапазон. Поля `simulation*` описывают 100 000 случайных значений числа соответствий, сгенерированных из этого распределения для проверки среднего. Идентификаторы случайных списков при этой симуляции не выбирались. Эти диапазоны отражают выбор списка при фиксированном наборе и не являются доверительными интервалами по задачам. Параметры дополнительных расчётов сохранены в `reviewAnalysis`.