为什么重要
NatureBench 提出了一个根本性问题：AI 智能体能不能做真正的科学发现，而不仅仅是复现已有的结果？
当前几乎所有 AI 评测基准衡量的都是”复现”能力——给模型已知答案，看它能不能答对。NatureBench 把标准提到了一个新高度：给模型一篇 Nature 论文的原始数据和任务描述（但抹掉论文中的方法），然后问它——你能想出一套新方法，比发表论文中的人类科学家做得更好吗？
答案令人警醒：最强模型（Claude Opus 4.7）仅在 17.8% 的任务上超越了已发表的 SOTA，而在 47.8% 的任务上只能”匹配”SOTA。更弱的模型（如 MiniMax M2.7）仅在 1.1% 的任务上超越了人类已有的最佳结果。
这揭示了当前 AI 的一个核心局限：方法论翻译（methodological translation）——智能体倾向于把科学问题转化为它们熟悉的监督学习范式，而非真正理解领域后做方法创新。失败的主要原因不是”不理解任务”，而是选错方法和计算预算不足。
构建方式
- NatureGym 自动化流水线：从已发表的 Nature 系列论文中提取原始数据、任务描述和 SOTA 指标，构建标准化容器化环境（Docker 容器 + 独立 GPU 分配）
- 90 个任务覆盖 6 个科学领域：关系推理、蛋白质生物学、细胞组学、物理建模、材料科学、生态统计
- 严格隔离协议：web search 禁用，每任务 4 小时时间预算，GPU 按任务复杂度分配（3 CPU-only / 70 RTX 3090/4090 / 17 NVIDIA A800）
- SOTA 归一化评分：使用效应量 g > 0.1 判定”超越”，g 绝对值 ≤ 0.1 判定”匹配”
- 10 种前沿 Agent 配置跨 3 种 harness（Claude Code / Codex CLI / Gemini CLI）
- 防作弊机制：后置 Claude Sonnet 4.6 裁判标记 5 类无效捷径行为（输出伪造、规则替换、答案恢复、反馈攻击、训练绕过）
任务示例
- 蛋白质生物学：给定蛋白质序列数据，设计新模型超越已发表的蛋白质功能预测 SOTA
- 细胞组学：基于单细胞 RNA-seq 数据，提出比原论文更好的细胞类型分类方法
- 关系推理：从知识图谱中推断出原论文未发现的新关系
- 生态统计：对物种分布数据做比原论文更准确的空间预测
关键发现
- 发现 vs 复现的巨大鸿沟：最强模型在 47.8% 任务上能匹配 SOTA，但仅在 17.8% 任务上超越——“复现容易，创新难”
- 方法论翻译陷阱：智能体倾向将科学问题转化为监督预测问题（如把蛋白质设计变成分类任务），而非理解领域本质后创新
- 失败的两大主因：(1) 错误的方法选择；(2) 计算预算不足——而非任务理解错误
- 领域难度分层：关系推理（Match-SOTA 60.0%）> 蛋白质生物学（37.5%）> 细胞组学（35.5%）> 更难领域
- GPU 敏感度：A800（17 任务）对 3090/4090（70 任务）无显著优势——方法选择 > 硬件算力
- Web-search 禁用的刻意设计：测试”从零思考”能力，而非信息检索能力
不足与展望
- 90 任务规模偏小，统计置信度有限
- 仅覆盖 Nature 系列期刊，可能存在发表偏倚（正面结果更易发表）
- web-search 禁用协议限制了真实科研工作流（科学家经常查资料）
- 尚未测试 Claude Opus 5 / GPT-5.6 Sol 等 2026 年 7 月最新模型
- 长期来看，NatureGym 流水线的通用性可能催生更多”科学发现”类评测
关联基准
- ProgramBench：从零重建软件系统
- SWE-bench Pro：高难度软件工程
- HLE：人类最终考试（专家知识）
- FrontierMath：研究级数学