为什么重要
Commit0 评测模型从空白仓库实现完整 Python 库的能力——不是修 bug，是从零构建。
构建方式与示例
给模型一个库的 API 规范和测试用例，要求实现整个库。例如：“实现一个兼容 scikit-learn API 的简单决策树库。“
返回评测
代码生成 代码-仓库级 未饱和
模态 · 代码
任务 · 执行验证
Commit0
给一个空仓库 + 规格说明，让 Agent 从零构建出完整的代码仓库并通过测试
多校联合 ·
考察能力
仓库构建 从零开始 测试驱动 项目架构
构建信息
- 数据规模
- 54 repos
- 评测方式
- 标准评测
- 核心指标
- Test Pass Rate (%)
资源链接
模型效果排行
🥇 Claude 3.5 + Aider
25.4%
🥈 GPT-4o + Aider
18.2%
仓库级 从零构建 Agent