为什么重要
DevEval 从真实 GitHub 项目中提取任务，要求模型理解项目上下文、API 文档和依赖关系后生成代码。比 HumanEval 更贴近真实开发场景。
返回评测
代码生成 代码-仓库级 未饱和
模态 · 代码
任务 · 执行验证
DevEval
评测 LLM 在真实项目中的代码补全和生成能力
Peking University ·
考察能力
代码补全 项目理解 API 使用
构建信息
- 数据规模
- 1,825 样本
- 评测方式
- 执行评测
- 核心指标
- pass@1
资源链接
模型效果排行
🥇 GPT-4o
55.2%
🥈 Claude 3.5 Sonnet
53.8%
代码生成 项目级 代码补全