FrontierScience 深度精读：AI 能否完成专家级科学任务？
OpenAI 推出的新一代科学推理基准，包含奥赛级和博士级研究问题，GPT-5.2 最高仅 25% 的 Research 得分揭示了 AI 科学能力的真实天花板
论文信息
- 标题：FrontierScience: Evaluating AI’s Ability to Perform Expert-Level Scientific Tasks
- 作者：Miles Wang, Robi Lin, Kat Hu, Joy Jiao, Neil Chowdhury, Ethan Chang, Tejal Patwardhan
- 机构：OpenAI
- 发表：arXiv 2601.21165, 2026 年 1 月
- 链接：arXiv
一句话总结
FrontierScience 是 OpenAI 推出的专家级科学推理基准测试，包含奥赛级（Olympiad）和博士级研究（Research）两个互补轨道。最强模型 GPT-5.2 在奥赛题上达 77%，但在开放式研究题上仅 25%——这 52 个百分点的落差，精确地标定了当前 AI 在”解题”与”做研究”之间的鸿沟。
为什么需要这个基准？
现有基准已经饱和
科学基准测试的发展遵循着一个熟悉的模式：设计 → 模型追赶 → 饱和 → 设计新基准。
| 基准 | 类型 | 当前 SOTA 表现 | 问题 |
|---|---|---|---|
| MMLU | 多选题 | >90% | 知识检索为主，非推理 |
| GPQA (Diamond) | 博士级多选题 | ~80%+ | 多选格式限制诊断能力 |
| ScienceQA | 多选题 | >95% | 已完全饱和 |
这些基准的共同缺陷：
- 多选格式——随机猜测就有 25% 基线，且无法评估推理过程
- 依赖已发表信息——模型可能在预训练时见过相关内容
- 封闭式答案——无法捕捉科研中”如何分析""如何设计实验”的开放式能力
FrontierScience 的解法：原创题目 + 双轨设计 + 基于评分标准（rubric）的细粒度评估。
基准设计：两个世界
轨道一：Olympiad（奥赛级）
- 100 道开源黄金题（更大的保密集用于防泄露）
- 出题者：42 位前国际奥赛奖牌获得者和国家队教练（合计 108 枚奖牌）
- 覆盖：物理（IPhO 级）、化学（IChO 级）、生物（IBO 级）
- 特点：封闭式数值/表达式答案，可精确验证
- 目标：评估极端难度下的科学推理和计算能力
轨道二：Research（博士级研究）
- 60 道开源黄金题
- 出题者：45 位合格科学家（博士候选人、博士后、教授）
- 特点：开放式回答，代表真实科研子任务
- 预计用时：每题 3-5 小时（人类专家）
- 目标：评估 AI 在实际科研场景中的综合能力
┌─────────────────────────────────────────────────┐
│ FrontierScience 双轨架构 │
├────────────────────┬────────────────────────────┤
│ Olympiad 轨道 │ Research 轨道 │
├────────────────────┼────────────────────────────┤
│ 100 道黄金题 │ 60 道黄金题 │
│ 奥赛奖牌获得者出题 │ PhD 科学家出题 │
│ 封闭式数值答案 │ 开放式研究回答 │
│ 精确匹配评分 │ 基于 Rubric 的细粒度评分 │
│ 主要考察：推理计算 │ 主要考察：研究方法论 │
│ 物理 > 化学 > 生物 │ 物理 ≈ 化学 ≈ 生物 │
└────────────────────┴────────────────────────────┘关键设计选择
1. 原创性保证
所有题目均为原创，经过内部模型预评估，确保：
- 不在任何已公开数据集中出现
- 当前模型不能轻松解决（排除简单题）
- 答案经至少两位独立领域专家交叉验证
2. Rubric-based 评估框架（Research 轨道的核心创新）
这是本文最重要的方法论贡献。传统科学基准只看”最终答案对不对”，但科研能力远不止于此。FrontierScience 为 Research 轨道的每道题设计了 10 分制评分标准，评估维度包括：
- 中间推理步骤的正确性（不只看最终结论）
- 方法论选择的合理性（是否选对了分析路径）
- 关键假设的识别与处理
- 结果的解释与讨论
获得 ≥7 分 视为成功解决。这种设计使得即使模型没有得到完美答案，也能看到它在推理链的哪个环节失败——这对改进模型极其有价值。
3. 裁判模型
为实现规模化评估，Research 轨道使用 GPT-5（高推理力度）作为裁判模型，依据预设的 rubric 进行评分。论文验证了裁判模型与人类专家评分的一致性。
实验结果：深度解读
主要排行榜
| 模型 | Olympiad (%) | Research (%) | 综合评价 |
|---|---|---|---|
| GPT-5.2 | 77.1 | 25.0 | 🥇 双轨最佳 |
| Gemini 3 Pro | 76.0 | 20.0 | 🥈 奥赛强劲 |
| GPT-5 | 72.0 | 25.0 | 🥉 Research 并列第一 |
| GPT-5.1 | 70.0 | 22.0 | |
| Grok 4 | 68.0 | 18.0 | |
| OpenAI o3 | 62.0 | 15.0 | |
| Claude Opus 4.5 | 55.0 | 12.0 | |
| OpenAI o4-mini | 50.0 | 10.0 | |
| GPT-4o | 35.0 | 5.0 | 基线 |
三个关键发现
发现一：奥赛 vs 研究的巨大鸿沟
最强模型在 Olympiad 上 77%，在 Research 上仅 25%。这不是简单的”难度更大”——它反映了两种根本不同的能力需求：
- 奥赛：在给定框架内进行精确推理（“用量子力学求解这个体系”）
- 研究：选择框架、设计方法、处理开放约束（“分析这个未知体系的性质”）
这 52 个百分点的差距，就是”AI 做题”和”AI 做科研”之间的真实距离。
发现二：推理力度（Reasoning Effort）的效果
GPT-5.2 在不同推理力度下的表现：
| 推理力度 | Olympiad | Research |
|---|---|---|
| Medium | 67.5% | 18.0% |
| High | 72.0% | 22.0% |
| xHigh | 77.1% | 25.0% |
增加测试时计算量（test-time compute）能稳定提升表现，但收益递减。从 medium 到 xhigh，Olympiad 提升 9.6 个百分点，Research 提升 7 个百分点。这说明更多的”思考时间”确实有帮助，但不是万能药——Research 的天花板远比 Olympiad 低。
发现三：学科间的差异
Olympiad 轨道：化学 > 物理 > 生物
模型在化学奥赛题上表现最好，可能因为化学推理更多涉及规则应用和模式匹配（反应机理、化学计量），而物理和生物需要更多创造性的建模能力。
Research 轨道：化学 > 生物 > 物理
有趣的是，Research 中物理排名最后。这可能因为物理研究问题往往需要从第一性原理构建数学模型，而这正是当前 LLM 最薄弱的环节。
常见失败模式
论文归纳了四类主要失败原因：
- 推理逻辑错误（最常见）——推理链中某个步骤出错，导致后续全部偏离
- 小众概念理解困难——对前沿或非主流知识点的掌握不足
- 计算错误——纯计算步骤出现数值错误
- 事实不准确——引用了不存在的定理或错误的物理常数
方法论贡献：Rubric-based 评估框架详解
这是本文最具实践参考价值的部分。
为什么传统评估不够？
传统评估：
问题 → 模型回答 → 与标准答案比对 → 对/错
FrontierScience 评估：
问题 → 模型回答 → Rubric 多维度评分 → 细粒度得分（0-10）
↓
- 方法选择 (2分)
- 中间推理 (3分)
- 关键假设 (2分)
- 最终结论 (3分)Rubric 的设计原则
每道 Research 题的 rubric 遵循以下原则：
- 总分 10 分，不可细分到小数
- 过程导向：至少 50% 的分数分配给中间步骤
- 独立验证：每个得分点可以独立评判
- 明确边界：每个得分点有”得分”和”不得分”的具体标准
裁判模型的可靠性
论文使用 GPT-5（高推理力度）作为裁判，并验证了：
- 裁判评分与人类专家评分的 Spearman 相关系数 > 0.85
- 在”是否成功解决”（≥7分 vs <7分）的二分类上，一致率 > 90%
这意味着 Rubric + 强裁判模型的组合，可以在保证评估质量的同时，大幅降低人工评审成本。
对我们的启示
1. 科学基准设计的范式转移
FrontierScience 代表了从”知识检索型”到”能力诊断型”基准的转变。Rubric-based 评估框架可以推广到任何需要评估开放式回答质量的场景：
- 代码 Review 能力评估
- 研究方案设计评估
- 复杂 debug 过程评估
2. Test-time Compute 的价值与局限
推理力度实验清楚地表明：给模型更多思考时间（更多计算量）确实有帮助，但在开放式研究问题上的提升远小于封闭式推理问题。这暗示当前的 scaling 路线在”做科研”这个维度上可能面临瓶颈。
3. 当前 AI 科学能力的准确定位
结合数据，可以画出一个清晰的能力图谱：
AI 科学能力谱系（2026 年初）
╔══════════════════════════════════════════════════════╗
║ 已饱和 高水平 部分能力 早期阶段 ║
║ ─────────── ─────────── ─────────── ──────────── ║
║ MMLU/SciQA → GPQA Diamond → FS-Olympiad → FS-Research ║
║ (>90%) (>80%) (77%) (25%) ║
║ ║
║ 知识问答 博士级多选题 奥赛级推理 开放式科研 ║
╚══════════════════════════════════════════════════════╝这告诉我们：AI 在知识检索和封闭推理方面已经非常强大，但在真正的科研能力（提出问题、设计方法、综合分析）上还有很长的路要走。
4. 对数据构建的启示
从训练数据构建的角度来看，FrontierScience 的 Research 轨道揭示了当前模型的短板——开放式科学推理。这暗示了几个可能的数据改进方向：
- 过程导向的科研思维数据：不只是问答对，而是完整的研究推理链
- 方法论选择训练数据：给定问题，为什么选这个方法而不是那个方法？
- 跨学科迁移数据：物理中的建模思路如何应用到生物问题？
局限性
论文自身也坦诚讨论了局限：
- 仅评估”解决问题”，不评估”提出问题”——科研中最有价值的能力（提出好问题/假设）没有被覆盖
- 纯文本模态——不包含实验操作、图表解读等多模态能力
- 裁判模型的主观性——虽然 rubric 试图客观化，但开放式回答的评分本质上有主观成分
- 缺少人类基准——没有同等条件下的人类表现数据作为对比
- 学科偏倚——Olympiad 偏向物理化学（更容易生成可验证表达式），Research 虽然平均分配但样本量偏小
总结
FrontierScience 是 2026 年初最重要的 AI 科学能力基准之一。它的核心贡献不在于发现”AI 还不够强”这个已知事实，而在于：
- 精确标定了差距在哪——77% vs 25% 的双轨对比，清晰区分了”推理计算能力”和”研究方法论能力”
- 提供了诊断工具——Rubric-based 评估能告诉我们模型在推理链的哪个环节失败
- 设立了长期可用的标杆——25% 的 Research 分数意味着这个基准在相当长时间内不会饱和
最值得关注的数字：25%。这是当前最强模型在博士级开放式科研题上的得分。当这个数字达到 70% 以上时，我们或许可以开始谈论”AI 科学家”了。
本文基于 arXiv:2601.21165 精读完成。