SWE-bench Verified

为什么重要

SWE-bench 原版存在噪声问题（部分测试本身有 bug、specs 不清等）。SWE-bench Verified 由 OpenAI 和原作者合作，经人工审核确认 500 个高质量实例，成为代码 Agent 评测的事实标准。

构建方式

从 SWE-bench 原始 2,294 个实例中筛选
软件工程师逐个验证任务描述、测试质量和 ground truth
移除有歧义或测试有 bug 的实例

任务示例

同 SWE-bench：给定 GitHub issue 描述和仓库代码，生成修复补丁并通过测试。

关键发现

Verified 版本分数比原版高 ~10-15%（消除了不可能任务）
已成为 Agent 论文的标准报告基准
模型排名与原版基本一致

关联基准

SWE-bench：原版
SWE-bench Pro：高难度版
SWE-Rebench：持续更新版

最新进展

2026-09-01：Vals AI 的 SWE-bench Verified 榜宣布归档（archived），最后一版（minimal bash-tool-only 统一 harness）为：Claude Opus 5 97.00%、DeepSeek V4 Pro 0813 96.40%、Kimi K3 93.40%、Claude Opus 4.8 88.60%、Grok 4.5 86.60%。值得注意的是，统一极简 harness 下 Opus 5 的 97.00% 反而高于厂商自报的 96.0%——说明本榜的口径分歧不是”统一评测必然更低”的单向偏差，vendor 脚手架与极简脚手架在不同模型上各有增益
2026-09-19 复核：Vals AI 归档页给出的收官统计值得作为本基准的”墓志铭”——共 86 个模型被测，其中 7 个达到 95% 及以上，头名 Claude Opus 5 距满分仅 3.00 个百分点。Vals 的归档理由写得毫不含糊：“Since performance on this benchmark has saturated, we no longer run this benchmark on new model releases.” 这是继 OpenAI 于 2026-02 推荐改用 SWE-bench Pro、Artificial Analysis 于 2026-09 将 GPQA Diamond 移出 Intelligence Index 之后，第三家主流评测机构对同一个 2024 年基准做出退役判定。三家的理由高度一致：不是基准有错，而是前沿模型已能稳定做对，不再产生区分度
2026-09：三大口径并存且互不相通——Vals AI（极简统一 harness，Opus 5 97.00%）、llm-stats 聚合（Claude Fable 5 95.0% 领跑，111 模型，Opus 5 无条目）、AnotherWrapper 聚合（DeepSeek-V4-Pro-0813 96.4% 领跑，349 模型）。同一模型跨源可差 0.6–3pp，选型时应固定单一来源做纵向比较
2026-09：llm-stats 9 月快照显示本榜已彻底分层——Top 4 为 Claude 系（95.0% / 93.9% / 88.6% / 87.6%），第 5–12 名挤在 80.4%–85.2% 的 5pp 带内（DeepSeek V4 Pro Max、Gemini 3.1 Pro、MiniMax M3、Qwen3.7 Max、Kimi K2.6 相互差距 ≤0.5pp）。80% 带已完全饱和，仅 85%–95% 区间尚存区分度

2026-09-10：两个榜单差 20 个百分点。直接读官方 swebench.com 的”标准化 harness”榜（全部提交统一跑 mini-SWE-agent v2.0.0），榜首是 Claude 4.5 Opus high 的 76.80%，而非厂商自报的 96%。该榜最新一条记录日期为 2026-02-26，本身也已滞后半年，但它是目前唯一能剥离脚手架效应的公开口径：

模型（mini-SWE-agent v2.0.0 统一 harness）	% Resolved	平均成本/轨迹
Claude 4.5 Opus high	76.80	$0.75
Gemini 3 Flash high	75.80	$0.36
MiniMax M2.5 high	75.80	$0.07
Claude 4.6 Opus	75.60	$0.55
Claude 4.5 Opus medium	74.40	$0.72
Gemini 3 Pro Preview	74.20	$0.46
GLM 5 high	72.80	$0.53
GPT 5.2 high	72.80	$0.47

对照上方 topResults 的 93%–96% 区间（各家私有 scaffold + 最强推理档位），可以得出一个可量化的结论：SWE-bench Verified 上的脚手架效应约 19–20 个百分点，与 2026-05 那次”12+ 百分点”的估计相比只增不减。看这个基准的分数前，先问是哪套 harness。另一个可见的事实是成本：MiniMax M2.5 high 用 $0.07/轨迹拿到 75.80%，与 $0.75 的 Claude 4.5 Opus high 只差 1 个百分点。

2026-08-29：开源权重模型首次登顶。DeepSeek-V4-Pro-0813 以 96.4% 反超 GPT-5.6 Sol（96.2%）与 Claude Opus 5（96.0%），结束了 Claude 系对榜首长达数月的垄断；Kimi K3 以 93.4% 同期进入 Top 8。前八名压缩在 93.4%–96.4% 的 3 个百分点区间内，区分度进一步趋零，佐证该基准已彻底饱和、仅具历史参考价值。（数据源为 swebench.com 官方榜单的第三方聚合快照，聚合站之间口径存在差异，另一来源对 Claude Opus 5 记为 97.0%）
2026-05：正式标记为 superseded。OpenAI 于 2026-02 宣布弃用 SWE-bench Verified，推荐转向 SWE-bench Pro。原因：(1) 训练数据污染严重，前沿模型可通过任务 ID 复现解法；(2) 60%+ 未解决问题从题面出发无法正确解决，“通过”意味着绕过评测机制；(3) Agent 框架效应高达 12+ 百分点，基准越来越测的是脚手架而非模型能力
2026-05：SWE-bench Pro 排行榜显示差异化仍在（Top 模型间 6.6 百分点差距），而 Verified 已压缩至 3.5 百分点
2026-05：Claude Mythos Preview 以 93.9% 刷新 SWE-bench Verified 纪录，大幅超越之前 SOTA
2026-06-09：Claude Fable 5 发布，以 95.0% 刷新 SWE-bench Verified SOTA（vendor scaffold），Mythos 5 在 95.5% 超越；Claude 在 Top 6 占据全部席位
2026-07-01：Fable 5 / Mythos 5 7月1日由美国商务部解禁全球恢复访问，95.0% / 95.5% 仍为 SWE-bench Verified 不可争议的 Top 2；Top 12 压缩至 95-80% 区间（Opus 4.8 88.6% → MiniMax M3 80.5%）
2026-07-06：morphllm.com 6月榜单确认 Top 6 全部为 Claude，DeepSeek V4 Pro Max (80.6%)、Gemini 3.1 Pro (80.6%)、MiniMax M3 (80.5%)、Qwen3.7 Max (80.4%) 形成第二集群——SWE-bench Verified 已完全饱和，区分度趋零
2025-08：GPT-5 (medium reasoning) 达到 65.0%，Claude 4 Sonnet 64.9%
2025-08：Qwen3-Coder 480B 以 55.4% 进入 Top 8，开源模型持续追赶

不足与展望

仍限于 Python 项目
500 个实例可能仍有选择偏差
已被 SWE-bench Pro 替代：OpenAI 于 2026-02 正式宣布弃用，主要原因是训练数据污染和评测设计缺陷
SWE-bench Pro 采用季度轮换（25% 任务替换）、CI 管道验证、多语言支持等改进
SWE-bench Live（月度更新版）提供另一种抗污染替代方案

SWE-bench Verified

考察能力

构建信息

资源链接

模型效果排行