返回评测
领域专业 领域-科学 未饱和 模态 · 文本 任务 · 选择 / 判断

InfiniteScienceGym

通过程序化确定性生成避免数据污染的科学分析评测基准,所有模型准确率不超过 45%

University of Utah ·

考察能力

证据驱动推理 弃权判断 工具辅助分析 数据仓库导航 不可回答问题识别

构建信息

数据规模
无界(基于种子程序化生成)
构建方式
程序化确定性生成(种子 → 数据仓库 + QA)
评测方式
自动评估(精确匹配 + 弃权判断)
核心指标
总体准确率 (%)

模型效果排行

🥇 所有测试模型
≤45% 2026-04

为什么重要

LLM 正逐步成为科学助手,但评估其从实证数据推理的能力面临发表偏差、已知知识偏差、标签噪声等问题。传统静态基准无法根本性地解决数据污染。InfiniteScienceGym 采用程序化生成方法,从一个种子确定性地生成自包含数据仓库和可验证 QA 对,从根本上杜绝数据泄露,且可无限扩展。

核心设计

基准从种子出发,模拟器确定性生成包含逼真目录结构、文件和表格数据的数据仓库。特权化 QA 生成器同时产出可回答和不可回答的问题,并附带精确标准答案。评估维度涵盖证据驱动推理、弃权能力(面对不可回答问题时拒绝作答)以及工具辅助分析。

关键发现

所有测试模型总体准确率均不超过 45%,识别不可回答问题仍是模型的重大弱点。更强的模型倾向于更有效地使用工具而非简单消耗更多 token,这表明推理效率与能力高度相关。

科学分析 程序化生成 防数据污染 弃权能力 工具使用