为什么重要
评测需要跨文件上下文(import 依赖、类型信息)的代码补全。覆盖 Python/Java/TS/C# 四种语言。
构建方式与示例
从 GitHub 仓库自动提取必须用跨文件信息才能补全的样本。
关联基准与展望
关联:RepoBench、BigCodeBench。不足:只测补全不测修改。
评估 LLM 在需要跨文件上下文信息的代码补全场景中的能力
评测需要跨文件上下文(import 依赖、类型信息)的代码补全。覆盖 Python/Java/TS/C# 四种语言。
从 GitHub 仓库自动提取必须用跨文件信息才能补全的样本。
关联:RepoBench、BigCodeBench。不足:只测补全不测修改。