返回评测
推理 数学-基础 未饱和 模态 · 文本 任务 · 数学求解

MGSM

GSM8K 的 10 种语言翻译版本,评测跨语言数学推理

Google ·

考察能力

多语言推理 数学推理 跨语言迁移

构建信息

数据规模
250 problems × 10 languages
评测方式
标准评测
核心指标
Accuracy

模型效果排行

🥇 GPT-4o
91.3% avg
🥈 Claude 3.5 Sonnet
89.7% avg

为什么重要

MGSM 评测的是 LLM 在非英语语言中的数学推理能力。由专业翻译将 GSM8K 的 250 道题翻译为 10 种语言(中/日/法/德/西/俄/泰/孟/斯/特),揭示了”推理能力是否真正多语言化”的关键问题。

构建方式

从 GSM8K 随机抽取 250 道题,由母语者翻译为 10 种语言。保持数学结构不变,只替换语言表述和本地化细节(如货币单位)。

任务示例

  • 英文原题:“Janet has 3 apples. She buys 5 more. How many does she have?”
  • 中文翻译:“小红有3个苹果,她又买了5个。她现在有几个?”
  • 同一推理链,不同语言

关键发现

  • 低资源语言(泰/孟/斯/特)的准确率比英语低 10-20%
  • CoT 提示在所有语言中都有效,但效果在低资源语言上更大
  • 用英语 CoT 推理然后翻译答案 vs 用目标语言 CoT,效果接近

关联基准

GSM8K(英文原版)、GSM-Plus(加固版)、MMMLU(多语言知识)

不足与展望

250 题规模偏小。专业翻译可能不完全捕捉语言特有的数学表达习惯。

多语言 数学推理 GSM8K 跨语言