为什么重要
SWE-bench 原版的 2,294 题评测成本很高。SWE-bench Lite 精选 300 道”可独立评测”的题目（无环境依赖冲突），保持与原版相同的难度分布，将评测时间从数天压缩到数小时，成为 Coding Agent 的日常评测标配。
构建方式
从 SWE-bench 中筛选满足条件的子集：测试不依赖外部服务、补丁文件数 ≤5、测试执行时间合理。按项目和难度分层采样。
任务示例
- 项目：Django
- Issue：特定 QuerySet 方法在嵌套子查询时结果错误
- 任务：定位 Bug 并生成修复补丁，通过新增的回归测试
关键发现
- 30% 的解决率意味着 70% 的真实软件问题仍超出当前 AI 能力
- 文件定位（找到需要修改的文件）是主要瓶颈之一
- Agent 架构比直接生成补丁效果更好
关联基准
SWE-bench（原版）、SWE-bench Verified（人工验证版）、Aider Edit（编辑评测）
不足与展望
300 题可能不够覆盖所有 Bug 类型。仍然限于 Python 仓库。