返回评测
代码生成 代码-工程交付 未饱和 模态 · 代码 任务 · 执行验证

Aider Polyglot

评估 LLM 作为代码编辑助手在多种编程语言中修改现有代码的能力

Aider ·

考察能力

代码编辑 多语言 重构 Bug修复 Python JS Java C++

构建信息

数据规模
225+ exercises / 10 languages
评测方式
标准评测
核心指标
Pass Rate (%)

资源链接

模型效果排行

🥇 Claude Opus 4
82.7%
🥈 GPT-5
78.4%
🥉 DeepSeek R1
71.2%

为什么重要

Aider Polyglot 评测编程助手在多语言环境下的代码编辑能力——覆盖 Python/JS/TS/Java/C#/Go 等,DeepSeek R1 报告中的核心编码评测。

构建方式与示例

使用 Aider 框架在多语言项目上测试代码编辑成功率。例如:“在这个 TypeScript 项目中重构 UserService 类,将同步方法改为 async/await。“

关键发现

多语言覆盖揭示了模型的语言偏好——大部分模型在 Python 上最强,Go/Rust 上最弱。

关联基准与展望

关联:Copilot Arena、SWE-bench。不足:绑定 Aider 框架。

代码编辑 多语言 重构 Aider