SWE-bench Verified (300 subset)

为什么重要

SWE-bench 是衡量 LLM 解决真实软件工程问题的黄金标准。不是合成的编程题，而是从 Django、Flask、scikit-learn 等知名项目中抽取的真实 bug report + 对应的 pull request。模型需要理解整个仓库上下文，定位问题代码，生成修复补丁，并通过原有测试用例。

构建方式

1. 从 12 个流行 Python 仓库（Django、Flask、scikit-learn、sympy 等）的 GitHub 历史中收集 issue + 对应的 PR
2. 每个实例包含：issue 描述、仓库快照（checkout 到 bug 存在时的 commit）、对应 PR 的 patch、验证用的测试用例
3. 模型需要在仓库快照的基础上生成 patch，然后通过自动化测试验证
4. Verified 子集（300 题）：由 OpenAI 工程师逐一审核，排除了歧义和噪声

任务示例

示例 1（Django）：

Issue: “QuerySet.union() 在使用 annotate() 后结果不正确” 模型需要：定位 django/db/models/sql/query.py 中的 union 逻辑 → 理解 SQL 生成的上下文 → 修改 annotation 处理逻辑 → 通过 15 个回归测试

示例 2（scikit-learn）：

Issue: “KMeans 在 sparse matrix 输入时内存泄漏” 模型需要：阅读整个 KMeans 实现 → 找到 sparse matrix 特殊路径中的内存分配问题 → 修复 → 通过性能回归测试

最新进展

• 2026-05：Claude Mythos Preview 以 93.9% 领先 Verified 排行榜，领先第二名 Opus 4.7 约 6 个百分点
• 2026-05：开源模型竞争加剧，GLM-5.1 (58.4%) 与 GPT-5.5 (58.6%) 接近持平
• 2026-04：Claude Opus 4.7 发布，Verified 达到 87.6%，成为 Claude 系列第二名

关键发现

• 仓库级代码理解是核心瓶颈：模型需要理解跨文件依赖、API 约定、测试框架
• Agent 框架（SWE-agent、OpenHands）比纯 LLM 生成高 2-3 倍
• o3 + Codex 达到 69.1%，证明推理+代码能力的结合是关键