为什么重要
MGSM 评测的是 LLM 在非英语语言中的数学推理能力。由专业翻译将 GSM8K 的 250 道题翻译为 10 种语言(中/日/法/德/西/俄/泰/孟/斯/特),揭示了”推理能力是否真正多语言化”的关键问题。
构建方式
从 GSM8K 随机抽取 250 道题,由母语者翻译为 10 种语言。保持数学结构不变,只替换语言表述和本地化细节(如货币单位)。
任务示例
- 英文原题:“Janet has 3 apples. She buys 5 more. How many does she have?”
- 中文翻译:“小红有3个苹果,她又买了5个。她现在有几个?”
- 同一推理链,不同语言
关键发现
- 低资源语言(泰/孟/斯/特)的准确率比英语低 10-20%
- CoT 提示在所有语言中都有效,但效果在低资源语言上更大
- 用英语 CoT 推理然后翻译答案 vs 用目标语言 CoT,效果接近
关联基准
GSM8K(英文原版)、GSM-Plus(加固版)、MMMLU(多语言知识)
不足与展望
250 题规模偏小。专业翻译可能不完全捕捉语言特有的数学表达习惯。