为什么重要
评测仓库级代码自动补全——补全某行代码时需要从其他文件检索相关上下文。
构建方式与示例
三个子任务：跨文件检索 → 跨文件补全 → Pipeline 整合。
返回评测
代码生成 代码-仓库级 未饱和
模态 · 代码
任务 · 执行验证 ICLR 2024
RepoBench
评估代码补全系统在仓库级别（需跨文件检索上下文）的能力
多校 ·
考察能力
跨文件补全 上下文检索 仓库理解
构建信息
- 数据规模
- 动态生成
- 构建方式
- 从 GitHub 仓库自动构建
- 评测方式
- 精确匹配 / Edit Similarity
- 核心指标
- EM / ES (%)
模型效果排行
🥇 StarCoder2-15B
~48% EM 2024-01
代码补全 仓库级 跨文件