为什么重要
FrontierSWE 是首个专门针对超长视界（ultra-long-horizon）软件工程的评测基准，由 Moonshot AI 推出。现有编码基准（SWE-bench Pro、Terminal-Bench 2 等）的任务通常可在数分钟内完成，测的是”单点修复/短链执行”能力；而 FrontierSWE 的单个任务可让 Agent 持续工作长达 20 小时，覆盖大型特性开发、跨模块重构、端到端系统改造等真实工程场景。
- 补齐评测盲区：2026 年 Qwen3.8-Max 的”16 天自主编码演示”与 Claude Opus 5 的”1M 上下文长程推理”都指向长程自主执行能力，但缺乏统一标尺——FrontierSWE 是首批直接量化该维度的基准之一
- 指标创新：采用 dominance score（支配性得分）与 mean@5——允许模型在 5 次尝试中”试错”，更贴近真实工程师多轮迭代的工作方式，也显著降低单次尝试运气成分
- 评测重心转移信号：与 OSWorld 2.0（108 长程任务 / 500 步上限）、Frontier-Bench（Snorkel AI）共同标志行业从”短任务区分度”转向”长程一致性”
构建方式
- 选取 17 个真实大型软件开发任务，横跨多语言与多技术栈
- 每个任务设计为超长视界：单任务可持续 20 小时，要求模型自主规划、执行、验证、迭代
- 每个任务运行 5 次尝试（trials），以 dominance（支配性）与 mean@5 聚合，降低随机性影响
- 评测环境提供完整沙箱与版本控制，模拟真实工程工作流
关键发现
- Kimi K3 以 81.2% 领先（BenchLM 8/5 快照，KimiCode harness）——作为 Moonshot 自家基准，vendor harness 效应需注意，但其 2.8T MoE 在长程任务上的表现印证了”大模型 + 长上下文”路线
- GLM-5.3 发布即上榜：智谱 GLM-5.3（2026-08-14 发布）在 DataLearner 8/14 快照中以 78.1% 位列第二，仅落后 Kimi K3 3.1pp——中国模型在超长视界赛道再次集体领先
- Qwen3.8-Max 73.5%：与其在 PaperBench（93.0 创 SOTA）、OSWorld-Verified（86.1 榜首）上的长程优势一致，验证”长程自主任务”是 Qwen3.8-Max 的核心强项
- 样本量小需谨慎：仅 17 个任务，单任务权重高，模型间差距（81.2% vs 73.5%）的统计显著性有待更多第三方复现确认
- 口径提示：不同评测源（BenchLM / DataLearner / Moonshot 自家表格）采用不同 harness 与聚合方式，分数不可直接跨源比较——沿用 SWE-bench Pro”三套数字”教训
最新进展
- 2026-09-02：v2 发布，本版（v1）转为 archived / superseded。 v2 把任务数从 17 扩到 34（保留 13 个原题、退役 4 个饱和题、新增 21 题），计分方式从 dominance score 换成 Mean@5，并统一跑在 Proximal 自研的 Proximus 脚手架上。v2 的榜首是 GPT-6 Astra 65.5%，Claude Fable 5.1 56.3%、Claude Opus 5 52.0%。两个版本的数字不能混排：v1 的 Kimi K3 81.2% 与 v2 的 Astra 65.5% 看起来像退步，实际是不同任务集 + 不同聚合方式。另需留意：v1 卡片此前把机构记为 Moonshot AI（依据是 BenchLM 快照中 Kimi K3 居首 + KimiCode harness），而 v2 的官方发布方与脚手架提供方是 Proximal（Epoch AI 收录，标注 creator-administered）。两者可能是同一基准的不同维护阶段，也可能此前是两条被混在一起的线索——在拿到 v1 原始发布公告前不下定论。详见 FrontierSWE v2。
- 2026-08：BenchLM 8/5 快照公布首批第三方分数——Kimi K3 81.2% 领先，Qwen3.8-Max 73.5%
- 2026-08-14：GLM-5.3 发布，DataLearner 快照以 78.1% 位列第二，超长视界赛道出现”K3 / GLM-5.3 / Qwen3.8-Max”中国三强格局
- 趋势判断：FrontierSWE 与 OSWorld 2.0、Frontier-Bench 共同构成”长程评测三件套”，短任务基准（SWE-bench Pro / Terminal-Bench）的区分度下滑将加速行业评测重心向此迁移
关联基准
- SWE-bench Pro：短任务基准代表（单点 issue 修复）
- Frontier-Bench：Snorkel AI 长程工程基准（v0.1）
- Terminal-Bench 2：终端环境短链任务
不足与展望
- 任务数仅 17，样本量小，需持续扩充
- 20 小时/任务的高成本限制了评测覆盖面，规模化复现困难
- vendor harness（KimiCode）与第三方 harness 的口径差异待统一
- 未来观察点：5 次尝试机制是否会成为长程评测的新标准（vs 单次 pass@1）