为什么重要
SWE-bench-Live 解决了 SWE-bench 系列最核心的三个痛点：数据陈旧（原版自发布后未更新）、仓库覆盖有限（仅 12 个 Python 仓库）、人工依赖高（环境构建需要大量人工）。它通过自动化流水线实现了每月更新，是目前唯一能做到持续反污染的 SWE 类基准。
构建方式
自动化流水线
- 仓库筛选：开源许可、主要语言为 Python、Star > 1000、Issue 和 PR > 200
- Issue-PR 配对：从真实 GitHub Issue 中提取与修复 PR 的关联
- RepoLaunch Agent：自动构建 Docker 环境——读取 README/CI 配置确定基础镜像，Agent 自动安装依赖、调整环境，直到测试可运行
- 实例验证：另起一个 Agent 验证环境，确保 PR 补丁前后测试结果一致
- Docker 镜像提交：每个任务配备独立 Docker 镜像，确保可复现
多语言扩展
- SWE-bench-Live/MultiLang（2025-12）：支持 C/C++、C#、TypeScript/JavaScript、Go、Rust、Java
- SWE-bench-Live/Windows（2026-02）：Windows 容器 + PowerShell 任务，测试模型在 Windows 环境的代码修复能力
月度更新机制
每月新增 50 个经人工验证的高质量 Issue，lite 和 verified 子集保持冻结以支持排行榜对比，full 子集包含所有最新任务。
关键发现
- SWE-agent + Claude 4.5 Sonnet 以 36% 领先，但与 SWE-bench Verified 上 70%+ 的成绩形成鲜明对比
- 仓库多样性大幅提升：223 个仓库 vs 原版 12 个，任务来源更广泛
- 跨框架对比：SWE-agent > OpenHands > Agentless，框架选择对结果影响显著
- 模型排序不同于 SWE-bench Verified：Claude 4.5 Sonnet 在 Live 上领先，但优势不如 Verified 明显，说明更广泛仓库的挑战更均衡
- Windows 任务的独特挑战：主流 Agent 框架（SWE-agent、OpenHands、Claude Code）均无法在 Windows 容器中运行，需要专门的 Win-agent
与其他 SWE 基准对比
| 维度 | SWE-bench Verified | SWE-bench Pro | SWE-bench-Live |
|---|---|---|---|
| 仓库数 | 12 | 41 | 223+ |
| 任务数 | 500 | 1865 | 1890+ |
| 语言 | Python | 多语言 | 多语言 + Windows |
| 更新 | 静态 | 季度轮换 | 月度新增 |
| 环境构建 | 手工 | 手工 + CI | 全自动 (RepoLaunch) |
| 污染风险 | 高 | 中 | 低（持续更新） |
| 状态 | superseded | active | active |
最新进展
- 2026-05：BenchLM 和多个排行榜开始纳入 SWE-bench-Live 数据
- 2026-02：Windows 子集发布，首次评测模型在 Windows 环境的代码修复能力
- 2025-12：MultiLang 子集发布，覆盖 7 种编程语言
- 2025-09：数据集首次发布（Python-only），1890 个任务，223 个仓库
局限性
- 自动化环境构建仍有失败率，部分仓库环境无法自动配置
- 月度更新可能导致排行榜数据点时间不一致
- Windows 和多语言子集的模型评测数量尚少
- Leaderboard 数据主要来自 2025 年中期模型，缺少 2026 年最新模型评测
关联基准
- SWE-bench：原始版本
- SWE-bench Verified：已被替代的精选版
- SWE-bench Pro：高难度多语言版
- BeyondSWE：跨仓库/领域知识的更全面评测