返回评测
代码生成 代码-理解 未饱和 模态 · 代码 任务 · 选择 / 判断

CrossCodeEval

评估 LLM 在需要跨文件上下文信息的代码补全场景中的能力

Meta & AWS ·

考察能力

跨文件依赖 类型推断 API使用

构建信息

数据规模
9928 个样本 / 4 种语言
构建方式
从 GitHub 仓库自动提取
评测方式
精确匹配 + Edit Similarity
核心指标
EM (%)

模型效果排行

🥇 CodeLlama-34B + RAG
~35% 2024-03

为什么重要

评测需要跨文件上下文(import 依赖、类型信息)的代码补全。覆盖 Python/Java/TS/C# 四种语言。

构建方式与示例

从 GitHub 仓库自动提取必须用跨文件信息才能补全的样本。

关联基准与展望

关联:RepoBench、BigCodeBench。不足:只测补全不测修改。

跨文件 代码补全 多语言