为什么重要
Aider 的代码编辑基准测试 LLM 在真实编辑场景中的表现——给定已有代码和修改指令，生成正确的编辑。这比从零生成代码更贴近实际开发工作流。
构建方式
- 使用 Exercism 编程练习
- 给定初始代码骨架和自然语言指令
- 通过单元测试验证编辑正确性
- 测试 diff/搜索替换等多种编辑格式
任务示例
已有代码：一个不完整的 Python 函数 指令：“Implement the encode function to perform run-length encoding” 验证：运行单元测试
关键发现
- 编辑格式选择对成功率影响大
- Claude 系列在编辑任务上持续领先
- 上下文窗口利用效率是关键差异
关联基准
- Aider Polyglot：多语言版本
- CanItEdit：代码编辑
- SWE-bench：GitHub 修复
不足与展望
- 基于 Exercism 的题目偏简单
- 不测试大规模项目级编辑
- 但 Aider 排行榜影响力大