NL2Repo-Bench

评估 LLM 从自然语言描述生成完整代码仓库（多文件项目）的能力

多校联合 · 2025年2月1日

仓库级生成多文件项目架构端到端

🥇 GPT-5

42.8% file recall

🥈 Claude Opus 4

38.2% file recall

为什么重要

NL2Repo 评测从自然语言描述生成完整代码仓库的能力——最接近”从零构建项目”的评测。

给一段需求描述，生成包含多个文件的完整仓库。例如：“构建一个 FastAPI 后端 + SQLite 的 Todo 应用。“

关联：Commit0、SWE-bench。不足：需求描述偏理想化。

仓库级代码生成端到端