为什么重要
LLM 正逐步成为科学助手,但评估其从实证数据推理的能力面临发表偏差、已知知识偏差、标签噪声等问题。传统静态基准无法根本性地解决数据污染。InfiniteScienceGym 采用程序化生成方法,从一个种子确定性地生成自包含数据仓库和可验证 QA 对,从根本上杜绝数据泄露,且可无限扩展。
核心设计
基准从种子出发,模拟器确定性生成包含逼真目录结构、文件和表格数据的数据仓库。特权化 QA 生成器同时产出可回答和不可回答的问题,并附带精确标准答案。评估维度涵盖证据驱动推理、弃权能力(面对不可回答问题时拒绝作答)以及工具辅助分析。
关键发现
所有测试模型总体准确率均不超过 45%,识别不可回答问题仍是模型的重大弱点。更强的模型倾向于更有效地使用工具而非简单消耗更多 token,这表明推理效率与能力高度相关。