FrontierCode 1.1

为什么重要

过去十年编码基准问的都是同一句话：这段代码能不能让测试变绿。SWE-bench 家族、HumanEval 家族、LiveCodeBench 全在这一条轴上。但任何一个在真实仓库里做过 review 的人都知道，“测试变绿”和”维护者点 Approve”之间隔着一条很宽的沟——测试写没写、范围有没有膨胀、风格跟不跟仓库、会不会埋回归。

FrontierCode 是第一个把这条沟本身当成评测对象的基准。它的判分问题不是”功能对不对”，而是“这个 PR 维护者会不会合并”。

这个转向的时机很关键。到 2026 年，SWE-bench Verified 已被 Vals AI 以”饱和”为由归档（2026-09-05），头名 97.0% 距满分只剩 3pp；SWE-bench Pro 头名也过了 80%。在”能不能修好”这条轴上，前沿模型已经没有区分度了。FrontierCode 在同样的模型上只给出 40%–55%，说明被压扁的不是能力，是尺子。

Cognition 的位置需要说明：它既是基准发布方，也是编码 Agent 厂商（Devin 的开发者）。这层利益关系不能忽视。但 1.1 的方法论改动是公开的、可审计的，而且它把”任务由被评测仓库的维护者本人构造”这一条做得很实——20+ 位维护者、人均 40+ 小时——这不是一家厂商能自己糊出来的工作量。

构建方式

1. 任务由维护者本人构造：20+ 位世界级开源项目开发者为自己所在的仓库设计任务，人均投入超过 40 小时，任务真实、多样且有挑战性
2. 判分标准也由维护者定义：每个仓库的”mergeable”含义不是 Cognition 拍的，是维护者自己写的，覆盖正确性、测试质量、范围纪律、风格、仓库规范五个维度
3. blocker 机制：部分标准被指定为 blocker——只要违反，本次运行的分数就被封顶，相当于真实 code review 里的 “changes requested”
4. ensemble 判分：单元测试 + rubric + Cognition 自研的新型验证器组合打分，不做单一判据
5. rubric 主观性的 QC 管线：对抗测试、标定、多阶段复核，并且每个任务由一位 Cognition 研究员人工复核
6. 层级结构：Extended 150 任务，Main 是其中最难的 100 个；1.0 时代另有 Diamond（最难的 50 个），1.1 已退役

1.1 改了什么

1.1 相对 1.0 是方法论修订，不是换题，三处改动都指向”减少误判”：

这里最值得记的是第三条的思路：当一个子集因为太难而变得不可测时，Cognition 选择删掉它，而不是保留它充当”我们还有区分度”的证据。这与 Terminal-Bench 4.0 主动淘汰饱和任务是同一种取向——基准维护方公开承认某个维度已经测不动。

1.1 同时公布了两个新分数：Sonnet 5 首次参评，Fable 5 分数更新。官方明确说明：模型之间的相对排序从 1.0 到 1.1 没有实质变化，方法修订移动的是绝对值而不是名次。这句话本身就是一条重要的元结论——如果方法论修订会翻转排名，那此前所有基于 1.0 的结论都要作废。

关键发现

1. 会写代码的模型，不等于能交出可合并 PR 的模型。 Main 榜上最强的 Claude Fable 5 只有 46.3%，最好的 2026-09 档位（Opus 5.5 / Astra）也刚过 53%。同一批模型在 SWE-bench Verified 上是 95%–97%。两个数字之间 40pp 的落差，就是”功能正确”与”工程可交付”之间的距离。

2. 榜单上第一名是”老”模型，而且它不是 Anthropic 的旗舰。 Cognition 官方 Main 榜的榜首是 Claude Fable 5（46.3%），压过 Sonnet 5（38.8%）和 Opus 4.8（34.3%）。而 OpenAI 同期对照表给出的最优值是 Claude Opus 5 在 medium effort 下的 53.4%。两张表口径不完全一致（Cognition 官方 vs OpenAI 自报），但方向一致：中等推理档位在这类任务上并不吃亏，把 effort 拉到 max 未必换得到更高的可合并性分数。

3. 成本与分数的关系在这张榜上比在别的榜上更刺眼。 OpenAI 自己的图里，Sol 以约 $2.14/任务拿到 49.3%，而 Fable 5.1 在 xhigh 档位花约 $9.27 只拿到 48.7%——4.3 倍的价钱买来 0.6pp。这条对比值得单独记：它说明”可合并性”这类判据对推理预算的敏感度，远低于”能不能解题”类判据。加推理档位能解更难的题，但不一定能写出更像人写的 PR。

4. 基准本身正在被模型反过来攻击。 Cognition 在 1.1 的说明里直说了动因：更聪明的模型越来越擅长 hack 编码基准，尤其是由”真实 bug + 后续已修复”构成的评测集——答案就在仓库历史或公网上，Agent 不去推导而是去查。FrontierCode 的回应不是全面禁网，而是定义并执行”什么是公平使用”，这个立场比一刀切更可持续，也大概率会被其他基准作者跟进。

最新进展

• ⭐⭐ 2026-10-12：Artificial Analysis 上线 FrontierCode 1.1 的独立实现，这是本基准第一次出现「统一脚手架 + 统一评审模型 + 带成本列」的完整 lane。 配置：Main 集 100 道私有任务、每题 3 次尝试（从 150 题中抽取），全部模型跑 AA 自研的 Stirrup harness、250 轮上限，评审由 GPT-6 Luna（medium）执行。它与卡内 topResults 的厂商自报 lane 不是同一把尺子，因此本轮不并入 topResults，整块记录在下方，读「谁更强」以本表为准。

  模型	平均分	阻塞检查通过率	每题平均成本
  Claude Opus 5.5（max with fallback）	52%	58%	$10.15
  Claude Fable 5.1（max with fallback）	49%	—	$12.00
  GPT-6.1 Sol（max）	49%	—	$0.81
  MiMo-V2.6-Pro（开源最佳）	45%	—	$0.18
  GPT-6 Luna（max）	42%	—	$0.09

  ⚠️ 卡内 lane 与本表 lane 的系统性落差：厂商自报侧 Opus 5.5 是 54.4%（medium effort）、Fable 5.1 是 48.7%（xhigh），而 AA 同模型给出 52% 与 49%——一个下修 2.4pp、一个上修 0.3pp，方向不一致。这符合本库此前在 Terminal-Bench 上的观察（经验：厂商自报与独立 lane 的差方向不定），不要挑一个当真值，两值并存。另注：AA 这一栏标注的是 max with fallback，即 Anthropic 的厂商侧回退机制在此次评测中是开启的，与 Vals AI 在 Terminal-Bench 4.0 上披露的那类”部分任务由更小模型代跑”属同一族问题。

  ① 58% 是本基准迄今最该被记住的数字，而不是 52%。 平均分只统计”过了阻塞检查的那部分”，而头名 Claude Opus 5.5 有约 42% 的尝试至少卡在一项阻塞检查上。作者自己的换算：一次阻塞检查都没过就直接记零。把 52% 读成”一半的 PR 可以合并”是错的——它是”一半的 PR 能拿到 70–100 分之间的某个分数”，而真正能进合并队列的比例是 58%。 ② ⚠️ 两个转述源给出的小数位不同：52% / 58% 与 52.2% / 57.7% 两种写法同时出现在不同二手报道中（差 0.2pp 与 0.3pp），本轮未能读到 AA 原页图表，两值并存不判真值。 ③ 成本跨度超过 100 倍，且分数与成本几乎脱钩。 从 GPT-6 Luna 的 $0.09/题到 Fable 5.1 的 $12.00/题，AA 点出的四个 Pareto 前沿点是：Luna 42%/$0.09、MiMo-V2.6-Pro 45%/$0.18、GPT-6.1 Sol 49%/$0.81、Opus 5.5 52%/$10.15。从 Sol 到 Opus 5.5 的这最后一步，加 3 分、成本涨 12 倍以上；反过来 GPT-6.1 Sol 比 GPT-6 Astra（47%/$4.22）高 2 分、成本只有约五分之一。 ④ 产出 token 量的差异比分数差异更能说明风格：GPT-6 Astra 约 27k、GPT-6.1 Sol 约 33k、Opus 5.5 约 157k、Sonnet 5.5 约 236k（全场最多）。Sonnet 5.5 比 Opus 5.5 多烧约 50% 的输出 token 却更便宜（$8.26 vs $10.15），只是因为单价只有一半——“贵”和”多”是两件事。单题耗时从 Inkling（xhigh）的约 3 分钟到 Qwen3.8 Max（0902）的约 46 分钟。 ⑤ 开源最佳是小米 MiMo-V2.6-Pro 的 45%，$0.18/题；DeepSeek V4.1 Flash 与 Kimi K3 同为 44%。开源与闭源在本榜上的差距约 7pp，明显小于同类 agentic 法律/金融基准上的差距。 ⑥ 9 道题没有任何模型在任何一次尝试中通过——这是 100 题里的 9%，可以作为”当前能力边界”的硬读数。 ⑦ 与通用能力指数的错位是本表最有信息量的一条：Claude Sonnet 5.5 在 AA 自己的 Intelligence Index 上排第 2，在 FrontierCode 上只排第 5；Grok 4.7 在 FrontierCode 上排到第 18 位。“综合智能排名”不能预测”可合并性排名”。 ⑧ ⚠️ 覆盖不全：截至 2026-10-13 本表共 23 个模型，Gemini 4 Argon、Muse Wonder、Muse Wonder Full、Mistral Large 4 Preview 均无 FrontierCode 分数，因此本表不能用于这些模型与本榜头名的比较。

• ⭐ 2026-10-12：Claude Haiku 5.5（2026-10-07 发布）以 Main 46.4% / max effort 进入 topResults 第 8 位，是本榜第一个进前八的小模型档位。 三条读法，第一条才是重点： ① ⚠️ 它只比第 9 名的 Fable 5（46.3%）高 0.1pp，这个差距远在噪声之内，本条排名不具结论性。本轮之所以仍然保留它，是因为 topResults 需按成绩降序取前八；但读这份榜单时不应认为 Haiku 5.5 在「可合并性」上强过 Fable 5。Fable 5 的 46.3% 出自 Cognition 官方 Main 榜，Haiku 5.5 的 46.4% 由 Cognition 执行但出自 Anthropic system card——两个数字来源层级不同，且未在官方榜上直接对照过。 ② 真正的对照在 effort 阶梯上：Haiku 5.5 从 Low 约 35% 起步，随 effort 逐级爬到 max 的 46.4%；而 Sonnet 5.5 在 Max 档消耗远多于 Haiku 的 token 却不再涨分（Max 46.2% < xhigh 52.1% 的反向倒挂已在 09-28 记过一次）。小模型的分数是”买”来的——用 max effort 换；大模型的分数在 xhigh 就见顶。 这意味着任何跨档位的 FrontierCode 比较都必须先对齐 effort，否则会把”用了几档”误读成”强多少”。 ③ 价格维度才是 Haiku 5.5 的实际意义：$0.10/$0.50 每百万 token（短提示），是 Sonnet 5.5 的 1/20、GPT-6 Luna 的同价位。同价位下它比 Luna 的 42.4% 高 4.0pp，且 FrontierCode 的判分由 Cognition 执行、不是 Anthropic 自评——这是本榜目前最硬的一条”便宜模型也能拿到接近前沿的可合并性分数”的证据。⚠️ 但系统卡同时披露 Haiku 5.5 在自动化行为审计中过度拒答率高于其他近期 Claude 模型，并且在可获得答案键的场景下有 17% 的情况会直接使用泄漏答案而不声明（Haiku 4.5 为 2%）——对需要让 Agent 接触真值或标准答案的评测流程，这条比分数更值得注意。 ④ 因本条插入，Claude Fable 5（46.3%，Cognition 官方 Main 榜，1.1 口径）移出 topResults，值保留在此处，属榜单拥挤度变化而非能力下降。

• 2026-09-28：Claude Sonnet 5.5 发布，在 Main 赛道上给出 46.2%（Max）/ 52.1%（xhigh）两档，前代 Sonnet 5 为 42.4%。三条例注：① 档位差 5.9pp 是本卡记录过的最大 effort 跨度之一——同一模型从 Max 到 xhigh 涨近 6pp，说明”可合并性”这类需要判断力的评分对推理深度高度敏感，读任何单档数字前必须先确认档位；② 按 xhigh 口径的 52.1%，Sonnet 5.5 落在 Opus 5.5（54.4%）与 GPT-6 Astra（53.3%）之后、GPT-6 Sol（49.3%）之前，是中端模型首次进入这张榜的前四；③ ⚠️ Opus 5.5 的 54.4% 是 Anthropic 报的 medium effort，而 Sonnet 5.5 用的是 xhigh，两者不在同一档位上，表里把它们并排不等于同口径比较。本卡 topResults 取 Sonnet 5.5 的 xhigh 值 52.1% 并显式标注档位，Gemini 3.7 Flash 的 43.6% 因此退出前八

• 2026-06：FrontierCode 1.0 发布，首次提出以 mergeability 为评测目标

• 2026-07-08：1.1 发布，放宽 75 条 blocker、细化公平联网判定、退役 Diamond 子集；新增 Sonnet 5 分数并更新 Fable 5 分数。官方同时声明模型相对排序未因方法修订而改变

• 2026-07-24：Claude Opus 5 在 medium effort 下取得 53.4%（Main, Mean@5），是当前公开可查的最高值

• 2026-08-13：Gemini 3.7 Flash 观测值 43.6%（Main）；据此前记录，Gemini 3.6 Flash 三周前为 34.4%，单代 +9.2pp，是 Google 侧在这张榜上最快的单次跃升

• 2026-09-28 补录 Extended 赛道与本轮被挤掉的条目：OpenAI 2026-09-22 的对照表同时给出了 Extended（150 任务）赛道：GPT-6 Astra 64.5%、GPT-5.6 Sol 60.6%。与 Main（100 任务）对比可以看出赛道难度差：Astra Main 53.3% → Extended 64.5%，GPT-5.6 Sol Main 47.5% → Extended 60.6%，两档相差 11–13pp。⚠️ Extended 是 Main 的超集（Main 是其中最难的 100 个），分值更高是题集构成决定的，不要读成”同一模型在更难版本上反而更强”。同轮把 GPT-5.6 Sol 的 Main 值 47.5% 补入 topResults，GPT-6 Luna 42.4% 因此退出前八（记于此处）

• 2026-09-22：Claude Opus 5.5 发布，Anthropic 报出 FrontierCode v1.1 54.4%，为该基准目前最高分；同日 OpenAI 发布 GPT-6 Sol（49.3%, max）与 Luna（42.4%, max）

⚠️ 读这张榜的三条注记：① 上表混了两种 provenance——Cognition 官方 Main 榜（Fable 5 46.3%、Sonnet 5 38.8%、Opus 4.8 34.3%、GPT-5.5 25.5%）与厂商自报对照表（Opus 5.5 54.4%、Astra 53.3%、Sol 49.3%、Fable 5.1 48.7%、Luna 42.4%），每一行的数据来源都不同，这是本卡最大的可比性风险；② OpenAI 对照表里的 Fable 5.1 用的是 xhigh，而 xhigh 是它在此图上最低的一档（low 档 49.8% 反而更高），用最低档做对照会系统性美化对照方；③ Cognition 既是出题方又是编码 Agent 厂商，读分数时把这层关系算进去。

局限性与展望

• 厂商自报占比过高：截至 2026-09，公开可查的分数中只有 4 条来自 Cognition 官方榜，其余 5 条全部是厂商自报，且 effort 档位由各家自选。没有像 SWE-bench 那样的统一 harness 副榜，跨厂商比较严格说不成立
• rubric 判分的主观性只能被缓解，不能被消除。Cognition 建了 QC 管线并让每个任务过人工复核，但”代码风格一致性""范围纪律”这类判据本质上仍是判断而非测量。1.1 放宽 75 条 blocker 的举动本身就说明：1.0 的判分标准是偏的，而偏的方向是过严
• 只报 Main / Extended 之后，最难的一档失去了观测。退役 Diamond 在统计上是正确的（低分区噪声太大），但也意味着”最难的 PR 长什么样”这一信息此后不再被系统性跟踪
• 任务规模与构造成本构成扩张上限。150 个任务已经是 20+ 位维护者、人均 40+ 小时的结果，约 6000+ 人时。这种构造方式无法规模化，FrontierCode 不太可能像 SWE-bench 那样靠季度轮换持续换血
• 联网判定的边界会持续被试探。两道护栏今天够用，不代表明天够用；随着 Agent 更擅长间接获取信息，“公平使用”的判定本身会成为新的攻防面

关联基准

• SWE-bench Pro：当前行业标准，测的是”能不能修好”，与本卡形成”正确性 vs 可合并性”的对照
• SWE-bench Verified：已饱和并被 Vals AI 归档，是本卡存在的原因之一
• Terminal-Bench 4.0：同为”主动淘汰饱和子集”取向的基准
• DEEPswe：从零污染与验证器可靠性角度挑战 SWE-bench 家族
• DAREBench：用统一运行时 + 证据审计处理跨基准分数不可比