FrontierScience 是 OpenAI 推出的专家级科学推理基准，包含奥赛级（Olympiad）和博士级研究（Research）两个互补轨道。最强模型 GPT-5.2 在奥赛题上达 77%，但在开放式研究题上仅 25%——这 52 个百分点的落差，精确标定了当前 AI 在"解题"与"做研究"之间的鸿沟。
为什么需要这个基准？
现有基准已经饱和
科学基准测试遵循着一个熟悉的模式：设计 → 模型追赶 → 饱和 → 设计新基准。
| 基准 | 类型 | SOTA | 问题 |
|---|---|---|---|
| MMLU | 多选题 | >90% | 知识检索为主，非推理 |
| GPQA (Diamond) | 博士级多选题 | >80% | 多选格式限制诊断能力 |
| ScienceQA | 多选题 | >95% | 已完全饱和 |
这些基准的共同缺陷：多选格式有 25% 猜测基线，依赖已发表信息，封闭式答案无法评估科研过程能力。
FrontierScience 的解法：原创题目 + 双轨设计 + 基于评分标准（rubric）的细粒度评估。
双轨架构：两个世界
🏅 Olympiad 轨道
🔬 Research 轨道
关键设计选择
1. 原创性保证
所有题目均为原创，经过内部模型预评估排除简单题，答案经至少两位独立领域专家交叉验证。确保不在任何已公开数据集中出现。
2. Rubric-based 评估框架（核心创新）
这是本文最重要的方法论贡献。传统基准只看最终答案对错，但科研能力远不止于此。
Research 评估流程
总分 10 分 · ≥7 分视为成功解决 · 过程导向（50%+ 分数给中间步骤）
这种设计使得即使模型没有得到完美答案，也能定位推理链的哪个环节失败——这对改进模型极其有价值。
3. 裁判模型
使用 GPT-5（高推理力度）作为裁判，与人类专家评分的 Spearman 相关系数 > 0.85，"是否成功"二分类的一致率 > 90%。
排行榜与深度解读
| 模型 | Olympiad (%) | Research (%) | |
|---|---|---|---|
| 🥇 | GPT-5.2 | ||
| 🥈 | Gemini 3 Pro | ||
| 🥉 | GPT-5 | ||
| GPT-5.1 | |||
| Grok 4 | |||
| OpenAI o3 | |||
| Claude Opus 4.5 | |||
| OpenAI o4-mini | |||
| GPT-4o |
三个关键发现
发现一：奥赛 vs 研究的巨大鸿沟
最强模型在 Olympiad 77%，在 Research 仅 25%。这不是简单的"难度更大"——它反映了两种根本不同的能力需求：奥赛是在给定框架内精确推理（"用量子力学求解这个体系"），研究是选择框架、设计方法、处理开放约束（"分析这个未知体系的性质"）。52 个百分点的差距 = "AI 做题" vs "AI 做科研" 的真实距离。
发现二：推理力度（Reasoning Effort）的效果与局限
GPT-5.2 从 medium → xhigh 推理力度，Olympiad 提升 9.6pp（67.5% → 77.1%），Research 提升 7pp（18% → 25%）。更多"思考时间"确实有帮助，但收益递减——Research 的天花板远比 Olympiad 低，暗示当前 scaling 路线在"做科研"维度可能面临瓶颈。
发现三：学科间的有趣差异
Olympiad：化学 > 物理 > 生物（化学推理更多规则应用和模式匹配）。Research：化学 > 生物 > 物理（物理研究需从第一性原理构建数学模型，正是 LLM 最薄弱的环节）。物理在两个轨道都排名靠后，揭示了模型在原创性建模方面的根本短板。
常见失败模式
-
推理逻辑错误（最常见）
推理链中某个步骤出错，导致后续全部偏离。这是级联失败的根源。
-
小众概念理解困难
对前沿或非主流知识点的掌握不足，在研究题中尤为突出。
-
计算错误
纯计算步骤出现数值错误，在奥赛题的复杂推导中频繁出现。
-
事实不准确
引用了不存在的定理或错误的物理常数，即"幻觉"在科学领域的体现。
对我们的启示
1. 科学基准设计的范式转移
从"知识检索型"到"能力诊断型"。Rubric-based 评估框架可推广到代码 Review 能力评估、研究方案设计评估、复杂 debug 过程评估等任何需要评估开放式回答质量的场景。
2. Test-time Compute 的价值与局限
给模型更多思考时间在封闭推理上提升显著，但在开放式研究问题上收益有限。当前 scaling 路线在"做科研"维度可能面临根本性瓶颈。
3. 对训练数据构建的方向指引
Research 轨道的短板揭示了三个数据改进方向：① 过程导向的科研思维数据（完整推理链而非问答对）；② 方法论选择训练数据（为什么选这个方法？）；③ 跨学科迁移数据。
4. AI 科学能力的准确定位
知识问答 (>90%) → 博士多选 (>80%) → 奥赛推理 (77%) → 开放科研 (25%)。AI 在知识检索和封闭推理方面已非常强大，但在真正的科研能力上还有很长的路要走。
AI 科学能力谱系（2026 年初）
基准的边界
-
仅评估"解决问题"，不评估"提出问题"
科研中最有价值的能力——提出好问题和新颖假设——没有被覆盖。
-
纯文本模态
不包含实验操作、图表解读等多模态能力，也不涵盖湿实验室等现实场景。
-
裁判模型的主观性
虽然 rubric 试图客观化，但开放式回答的评分本质上有主观成分。
-
缺少人类基准
没有同等条件下的人类表现数据作为对比，无法回答"这 25% 对人类来说是什么水平"。
结论：最值得关注的数字
25%当前最强模型在博士级开放式科研题上的得分
FrontierScience 的核心贡献不在于发现"AI 还不够强"，而在于精确标定了差距——77% vs 25% 的双轨对比清晰区分了"推理计算能力"和"研究方法论能力"；Rubric-based 评估能诊断模型在推理链的哪个环节失败；25% 的分数意味着这个基准在相当长时间内不会饱和。
当 Research 分数达到 70% 以上时，我们或许可以开始谈论"AI 科学家"了。