Препринт OmicsBench v1 объединил 784 задачи по анализу биоданных: лучшие ИИ-агенты решили 49,4% коротких и 32,8% длинных
Препринт OmicsBench v1 объединил 784 задачи по анализу биоданных: лучшие ИИ-агенты решили 49,4% коротких и 32,8% длинных
19 октября команда LatchBio выпустила препринт OmicsBench v1 — общий тест для ИИ-агентов, которые разбирают омиксные данные: крупные наборы измерений РНК, ДНК и белков. Авторы объединили восемь прежних наборов задач и сравнили 31 сочетание языковой модели и программной среды, которая даёт ей доступ к инструментам и данным.
В каждом задании агент получает изолированную рабочую среду со снимком реальных данных, научный вопрос, лимит времени и автоматическую проверку ответа. Авторы брали опубликованные анализы, воспроизводили их и разбивали на шаги: от отбора и подготовки данных до выбора метода и объяснения результата. OmicsBench показывает, как агент проходит эту цепочку от данных до вывода.
В корпус вошло 741 короткое задание и 43 длинных. Короткая задача проверяет ограниченный фрагмент анализа; длинная требует нескольких последовательных решений. На коротких задачах пара Grok 4.7 и Grok Build достигла 49,4%; GPT-6 Astra с Pi — 49,3%, Opus 5 с Pi — 47,7%. На длинных задачах GPT-5.6 Sol с Codex показал 32,8%.
Временной ряд авторов показывает, что максимум на коротких задачах вырос с 32,8% 17 февраля до 47,3% 24 июля; три следующих релиза довели его до 49,0%. Рекорд длинного горизонта — 32,8% от 9 июля — удержался после выхода одиннадцати более поздних моделей.
Шестью днями раньше более узкий OncologyBench показал похожую проблему: в 67% попыток агент верно выполнял отдельные анализы, но выдавал неверное итоговое онкологическое решение. OmicsBench переносит этот вопрос с 25 клинических случаев на шесть видов биологических данных.
Авторы разобрали 4 556 ошибочных последовательностей действий в четырёх конфигурациях. В 49,7% случаев агент выбирал порог, метод или часть данных без проверки; примерно в каждом седьмом случае игнорировал результат собственного анализа, который противоречил его ответу.