为什么重要
Agent 评测几乎全部是英语中心的。GAIA、τ-bench、OSWorld、Terminal-Bench 都假设用户用英语说话、工具返回的键是英文标识符、答案格式遵循英语习惯。但真实部署里，一个客服 Agent 要同时接住泰语、印地语、老挝语的用户——语言切换带来的掉点到底有多大，此前没有一个足够大的标尺能测。
BabelArena 补的就是这个洞。它的做法不是”新造一批多语任务”，而是造一条能把既有英文 Agent 基准整体搬到其他语言的生产线（BabelFlow），然后用这条线一次性产出 16,146 个实例：
| 基准 | 任务数 | 领域 | 语种 | 实例数 |
|---|---|---|---|---|
| MAPS (2026) | 805 | 4 | 12 | 9,660 |
| OmnilingualGAIA2 (2026) | 640 | 1 | 11 | 7,040 |
| SEATauBench (2026) | 278 | 3 | 6 | 1,668 |
| GAIA-v2-LILT (2026) | 165 | 1 | 6 | 990 |
| MLCL (2026) | 200 | 1 | 4 | 800 |
| PolyWorkBench (2026) | 67 | 5 | 10 | 67 |
| BabelArena | 702 | 13 | 23 | 16,146 |
它也是目前唯一同时覆盖 prompt、task、tool、environment 四类组件适配的多语 Agent 基准（上表中只有 SEATauBench 四项全打勾，但规模只有它的十分之一）。任务身份与评判标准跨语言固定，因此同一个任务在 23 种语言下的分数是严格可比的——这是”翻译型基准”能否用于受控对比的关键前提，也是过去多语基准普遍做不到的一点。
构建方式：BabelFlow 三层流水线
翻译一个 Agent 基准远比翻译一段文本难：任务里嵌着工具名、参数枚举、文件路径、评判脚本里的正则。逐字段独立翻译几乎必然把这些引用翻坏。
BabelFlow 的解法是三步：
- 运行时依赖分析：先扫一遍任务，标出哪些字段是”可执行引用”（工具名、参数值、文件名、评判依赖），哪些是”自然语言内容”
- 结构保持翻译：引用类字段保持原样或走规范化映射，只对自然语言内容做翻译
- 多层校验 + 人工复核：自动校验引用完整性、行为一致性，再叠加人工审核；翻译质量按 5 分制（Excellent / Good / Fair / Poor / Unusable）打分
在 40 个任务适配到中文的受控消融上，三层各自的效果很干脆：
| 方式 | 引用破损率 (%) | 行为错配率 (%) | 相对 token 成本 |
|---|---|---|---|
| 独立逐字段翻译 | 20.0 | 5.0 | 1.00 |
| + 规范化引用映射 | 7.5 | 2.5 | 1.78 |
| BabelFlow 全链路 | 2.5 | 0.0 | 3.35 |
值得留意的是代价曲线：把行为错配压到 0 需要 3.35 倍的 token。这个数字本身就是多语基准的真实成本结构——便宜的多语基准，大概率是引用破损的基准。
语言侧覆盖 23 种语言、15 种文字，按资源量分三档：
- 高资源 (7)：英语、中文、日语、法语、俄语、阿拉伯语、西班牙语
- 中资源 (8)：韩语、印尼语、印地语、泰语、希伯来语、土耳其语、越南语、马来语
- 低资源 (8)：白俄罗斯语、东旁遮普语、哈萨克语、高棉语、缅甸语、老挝语、泰米尔语、泰卢固语
四个基准族分别是 VitaBench（交互服务）、DeepPlanning（长程旅行与购物规划）、τ³-Bench 文本部分（模拟用户交互、工具调用、知识检索、领域策略合规）、ClawEval（服务编排、多模态感知与生成、专业对话）。
关键发现
一、没有模型能通吃四个基准族。 论文的原话是 Qwen-3.8-Max”总体最好”，但它只在 VitaBench 与 DeepPlanning 两个推理密集型族上领先，τ³-Bench 被 Gemini-3.1-Pro 反超，ClawEval 被 Claude Opus 4.8 反超：
| 模型 | VitaBench | DeepPlanning | τ³-Bench | ClawEval |
|---|---|---|---|---|
| Claude Opus 4.8 | 36.9 | 36.2 | 62.6 | 55.8 |
| GPT-5.6 Terra | 29.6 | 22.5 | 69.2 | 46.1 |
| Gemini 3.1 Pro | 34.3 | 18.6 | 71.4 | 41.5 |
| Qwen-3.7-Max | 36.1 | 41.6 | 59.0 | 32.4 |
| Qwen-3.8-Max | 42.3 | 46.0 | 62.0 | 40.8 |
（Pass^1，%。）按综合 Pass^1 排序则是 Claude Opus 4.8 领先三个资源档，但它在 VitaBench、DeepPlanning 两项上都输给 Qwen-3.8-Max——“综合第一”与”分族第一”是两件事。
二、跨语言落差远不止”成功率变低”。 同一批任务从高资源档移到低资源档，五个模型的 Pass^1 掉 3.3 到 9.1 个百分点：
| 模型 | 高资源 | 中资源 | 低资源 |
|---|---|---|---|
| Claude Opus 4.8 | 51.3 | 48.1 | 44.8 |
| Qwen-3.8-Max | 49.8 | 46.4 | 43.7 |
| Gemini 3.1 Pro | 45.9 | 42.4 | 36.4 |
| Qwen-3.7-Max | 45.8 | 42.9 | 40.1 |
| GPT-5.6 Terra | 45.3 | 43.9 | 36.8 |
更值得注意的是失败结构的改变：对 VitaBench 失败样本的抽样分析显示，泰语、泰米尔语的失败里工具调用错误与控制流错误的占比明显高于英语和中文——低资源语言上模型不是”想不明白”，而是”调不动工具、走不出循环”。这类失败在只看准确率的排行榜上完全看不见。
三、语言一致性（LC）在结构化输出上塌得最狠。 高资源档 LC 普遍在 89–99 之间，低资源档掉到 83–90。而且语言切换是单向的—— overwhelmingly 倒向英语。要求输出 JSON、表格一类结构化内容时，模型会不自觉地把字段名、枚举值甚至整段回答写回英文。
四、低资源语言的 token 成本翻一倍。 以英语为 1.0 基准，低资源档的相对消耗：
| 模型 | 轮次 | 构造输入 | 总输入 | 总输出 |
|---|---|---|---|---|
| GPT-5.6 Terra | 0.97 | 2.51 | 1.92 | 1.60 |
| Claude Opus 4.8 | 1.05 | 2.20 | 2.06 | 1.66 |
| Gemini 3.1 Pro | 1.16 | 1.89 | 1.90 | 1.15 |
| Qwen-3.8-Max | 1.01 | 2.09 | 1.80 | 1.54 |
| Qwen-3.7-Max | 1.03 | 2.10 | 1.69 | 1.65 |
轮次几乎不变（0.97–1.16），但输入 token 接近翻倍——多出来的不是”多聊了几轮”，而是同样的内容在低资源语言下被编码成更多 token。这条对成本模型的影响是直接的：一个按英语定价的多语 Agent 产品，在低资源语言上单位成本可能翻倍而交互体验不变。
五、检索工具在低资源语言上大面积空转。 英语下搜索返回空结果的比例是 6.2%–17.1%，低资源语言下跳到 53.7%–68.7%；而”额外调用中属于搜索”的占比高达 49.8%–79.9%。也就是说，模型在低资源语言上把大量预算花在了一个近乎失效的工具上。
失败分类体系
论文给出了一套 8 大类的 Agent 失败分类，其中最后一类是 BabelArena 新增、专门针对多语场景的：
| 类别 | 典型子类 |
|---|---|
| Outcome（单轮） | 答案错误、答案不完整、格式违规、约束违规、无依据回答 |
| Reasoning（单轮） | 事实幻觉、逻辑自相矛盾、推理不成立、计算错误、无根据假设、忽略上下文 |
| Planning（多轮） | 未做规划、分解不当、目标漂移、范围膨胀、路径低效 |
| Tool Use | 选错工具、幻觉工具、幻觉参数、参数格式错、漏调工具、忽略工具输出、误读工具结果 |
| Control Flow | 循环、振荡、提前停止、不终止、停滞无进展 |
| Memory | 遗忘上下文、时间维度自我矛盾、状态跟踪错误 |
| Communication | 输出不清、伪造引用、过度声称 |
| Multilingual | 输出语言错误、语言混用、文字/编码损坏（缅甸文、高棉文、泰米尔文、泰卢固文尤甚）、本地化约定错误（日期/数字/货币/单位/姓名顺序/敬语）、因语言导致的工具调用失败（把本地化值传给期待规范 ID 的参数） |
最后一行是这套分类真正的增量：低资源语言上的工具调用失败，根因常常不是模型不会用工具，而是它把”泰语的书名”塞进了期待英文标识符的参数里。
数据来源与口径
- 本卡全部数值直接取自论文 HTML 全文（
arxiv.org/html/2609.23490v1）的 Table 1 / 4 / 5 及消融表，未经过聚合站转手 - 温度为 0、辅助 Agent 关闭思考，VitaBench 与 DeepPlanning 使用确定性规则判分（不引入 LLM judge），τ³-Bench 与 ClawEval 的判分方式论文未在此处统一说明
- 论文评测的是 2026-09 时的五个前沿模型，不含 GPT-6 Astra、Claude Opus 5.5 等 2026-09 下旬发布的模型——分数会随新模型快速变动
- topResults 中的三元组是 Pass^1 的高 / 中 / 低资源三档，按高资源档降序排列；它不是单一总分，跨模型比较时请连同分族表一起看
不足与展望
- 只测了 5 个模型：相对 16,146 个实例的规模，模型侧覆盖偏薄，榜单价值尚未建立
- 翻译型基准的原罪：即便 BabelFlow 把行为错配压到 0，任务本身仍带着英文世界的文化预设（日期格式、姓名顺序、服务场景），低资源档的掉点里有多少是”语言”、多少是”场景陌生”，论文未做剥离
- 成本未计入主指标：低资源档 2 倍 token 只作为附属分析，没有进入 Pass^1 / LC 的评分，实际部署决策需要自己折算
- BabelFlow 本身的价值可能超过 BabelArena：这条流水线可以套到任何既有 Agent 基准上，多语适配的边际成本正在下降——预计 2027 年会看到 GAIA、OSWorld 一类基准的官方多语版本
关联基准
- τ³-Bench：BabelArena 四个源基准族之一，此处的英文原版对照
- GAIA：多语适配（OmnilingualGAIA2 / GAIA-v2-LILT）的主要对象
- OSWorld 2.0：同为长程 Agent 评测，但仅英语，可与本卡的低资源掉点对照阅读
- DAREBench：同为 2026-09 的 Agent 基准，关注部署形态与成本，与本卡的”语言维度”互补