AI 编程代理竞技场
SWE-bench Verified 官方榜单 180 条提交：解决率 4.4% → 79.2%，仅 45 条披露成本
SWE-bench Verified · 快照 2026-09-20
AI 编程代理竞技场
180 条官方提交、77 个 scaffold—— 解决率 4.4% → 79.2%，只有 45 条披露了成本
官方提交对比
从 SWE-bench Verified 的 45 条带成本提交中挑 2–3 条，逐项对照官方数值
为什么这里没有 Claude Code / Cursor / Devin？ 因为 SWE-bench 官方榜单里一条都没有。 榜单登记的是「scaffold + 模型」组合（共 77 个 scaffold、180 条提交），不是消费级产品。 本页早期版本给 6 个产品编造过 SWE-bench 分数，已全部删除。
MiniMax M2.5
Minimax · 2026-02-17
📖 解决率（官方）75.8%
📖 单次平均成本（官方）$0.0733
🧮 每美元百分点（本页算）1034
effort: highscaffold: mini-SWE-agent
Claude 4.5 Opus
Anthropic · 2026-02-17
📖 解决率（官方）76.8%
📖 单次平均成本（官方）$0.7539
🧮 每美元百分点（本页算）102
effort: highscaffold: mini-SWE-agent
GPT 4o
OpenAI · 2025-07-20
📖 解决率（官方）21.62%
📖 单次平均成本（官方）$1.5311
🧮 每美元百分点（本页算）14
未标 effortscaffold: mini-SWE-agent
🧮 升级值不值（本页真算）
| 对比 | Δ 解决率 | Δ 成本 | 每多花 $1 买到 |
|---|---|---|---|
| MiniMax M2.5 → Claude 4.5 Opus | +1.0pp | +$0.6806 | 1.5pp |
| Claude 4.5 Opus → GPT 4o | -55.2pp | +$0.7772 | -71.0pp |
行顺序 = 你点击选择的顺序。Δ 为负表示后一项反而更差；此时「每多花 $1」一列会退化为「更便宜且更强」的提示。
📖 全榜解决率 TOP 15（含无成本条目）
TOP 15 里只有 4 条带成本——榜单上跑得最靠前的 scaffold 大多不报成本，所以「最强」和「最划算」是两批不同的提交
| # | 提交 | scaffold | 解决率 | 单次成本 |
|---|---|---|---|---|
| 1 | Sonar Foundation Agent + Claude 4.5 Opus | Sonar Foundation Agent | 79.2% | 未披露 |
| 2 | live-SWE-agent + Claude 4.5 Opus medium (20251101) | live-SWE-agent | 79.2% | 未披露 |
| 3 | TRAE + Doubao-Seed-Code | TRAE | 78.8% | 未披露 |
| 4 | live-SWE-agent + Gemini 3 Pro Preview (2025-11-18) | live-SWE-agent | 77.4% | 未披露 |
| 5 | EPAM AI/Run Developer Agent v20250719 + Claude 4 Sonnet | EPAM AI/Run Developer Agent | 76.8% | 未披露 |
| 6 | Atlassian Rovo Dev (2025-09-02) | Atlassian Rovo Dev | 76.8% | 未披露 |
| 7 | Claude 4.5 Opus (high) | mini-SWE-agent | 76.8% | $0.7539 |
| 8 | ACoder | ACoder | 76.4% | 未披露 |
| 9 | Gemini 3 Flash (high) | mini-SWE-agent | 75.8% | $0.3560 |
| 10 | MiniMax M2.5 (high) | mini-SWE-agent | 75.8% | $0.0733 |
| 11 | Warp | Warp | 75.6% | 未披露 |
| 12 | Claude 4.6 Opus | mini-SWE-agent | 75.6% | $0.5515 |
| 13 | TRAE + Claude Sonnet 4 + Opus 4 + Sonnet 3.7 + Gemini 2.5 Pro | TRAE | 75.2% | 未披露 |
| 14 | Harness AI | Harness AI | 74.8% | 未披露 |
| 15 | Sonar Foundation Agent + Claude 4.5 Sonnet | Sonar Foundation Agent | 74.8% | 未披露 |
为什么不再给「综合评分 /400」？ 旧版把解决率、自主度、速度、成本四个不同量纲的 0–100 分直接相加， 等于默认「1 个百分点准确率 = 1 分自主度」，这个等式没有任何依据。本页只保留单一语义的派生指标（每美元百分点）。
数据来源：SWE-bench 官方榜单 swebench.com（Verified 子集，180 条提交 / 77 个 scaffold）， 本页数字于 2026-09-20 直接抓取页面内嵌 JSON 解析得到
榜单最新提交 2026-02-26，最早 2023-10-10； 成本字段仅 45 条，全部来自 mini-SWE-agent，跨 scaffold 不做成本比较
📖 官方值 · 🧮 本页真算 · ⚠️ 教学模型 · 📝 编辑分类