返回评测
综合 综合-多语言 未饱和 模态 · 文本 任务 · 混合题型

MMMLU

将 MMLU 翻译为 14 种语言，评测模型的多语言知识一致性

OpenAI ·

考察能力

多语言理解 知识迁移 跨语言一致性

构建信息

数据规模
14 languages × ~14K questions
评测方式
标准评测
核心指标
Accuracy (per language)

资源链接

官网

模型效果排行

🥇 GPT-4o
85.1% (avg)
🥈 Claude 3.5 Sonnet
83.7% (avg)

为什么重要

MMMLU 是 OpenAI 推出的 MMLU 多语言版本，覆盖包括中文、日语、阿拉伯语在内的 14 种语言。它揭示了 LLM 在非英语知识上的系统性差距，是评测全球化部署能力的关键基准。

构建方式

  1. 基于 MMLU 原始题目
  2. 由专业翻译人员翻译为 14 种语言
  3. 质量审核确保语义一致

任务示例

同 MMLU，但以目标语言呈现。例如用中文提问物理/历史/法律知识。

关键发现

  • 模型在低资源语言上表现显著下降
  • 中文、日语等高资源语言差距较小
  • 揭示了预训练数据的语言分布偏差

关联基准

不足与展望

  • 翻译质量参差不齐
  • 部分题目有文化适应性问题
  • 但作为多语言基准意义重大
多语言 MMLU 知识评测