为什么重要
Aider Benchmark 评测 LLM 在 Aider 这一流行 AI 编程工具中的真实表现。重点测试 diff 格式生成、多文件编辑等实际编程场景。与 HumanEval 互补。
返回评测
代码生成 代码-编辑重构 未饱和
模态 · 代码
任务 · 代码生成
Aider Benchmark
评测 LLM 在真实代码编辑任务上的交互式编程能力
Aider ·
考察能力
代码编辑 diff 生成 交互式编程
构建信息
- 数据规模
- 133 任务
- 评测方式
- 执行评测
- 核心指标
- pass@1
资源链接
模型效果排行
🥇 Claude 3.5 Sonnet
73.7%
🥈 GPT-4o
66.2%
代码编辑 Aider 交互式 diff