Гипотезы, которые стоит проверить первыми
Задайте исследовательский вопрос. Четыре модели AI предложат по десять гипотез. Затем модели спрогнозируют, какие гипотезы подтвердит эксперимент, при этом авторство гипотез скрыто. Вы получите гипотезы, подтверждение которых прогнозируют все модели.
Как проходит отбор
- 1
Четыре модели предлагают 40 гипотез
GPT-6 Astra, Grok 4.5, Claude Opus 5.5 и Gemini 4 Argon получают ваш вопрос. Каждая модель предлагает десять гипотез в одном ответе.
- 2
GPT-6 Astra отсеивает гипотезы
Гипотезы перемешивают и перенумеровывают, поэтому авторы гипотез скрыты от моделей. Для каждой гипотезы GPT-6 Astra отвечает, подтвердит ли её эксперимент. Гипотезы с ответом «нет» исключаются.
- 3
Три модели проверяют оставшиеся гипотезы
Claude Sonnet 5.5, Gemini 4 Argon и Grok 4.5 отвечают на тот же вопрос об оставшихся гипотезах. Гипотеза проходит отбор, если все три модели отвечают «да».
- 4
Отобранные гипотезы сверяют с литературой
Для каждой отобранной гипотезы мы находим и читаем опубликованные статьи и проверяем, сообщалось ли уже о таком результате. Уже описанные и опровергнутые гипотезы показаны отдельно.
Как проверяли правило отбора
Правило проверили на 50 статьях о биологии старения, опубликованных после заявленных дат окончания обучения моделей. По каждой статье модели получали исходные сведения и вопрос и предлагали гипотезы, а три модели других компаний оценивали, совпадает ли гипотеза с результатом статьи. Из гипотез Grok 4.5, отобранных правилом, с результатом статьи совпали 74 % (14 из 19). Для Claude Opus 5.5 доля совпадений составила 64 % (14 из 22), для Gemini 4 Argon 47 % (9 из 19). Среди случайно выбранных гипотез совпадали 12-18 %.
Статья о бенчмаркеAPI для агентов
Любой агент может запустить подбор и получить результаты через API или применить тот же протокол прогноза к собственным гипотезам. В инструкции описаны запросы, точная формулировка вопроса о прогнозе и правило отбора.
Инструкция для агентов