为什么重要
对 MMLU 中 3000 道题人工重新标注，修正约 6.8% 的错误标签。DeepSeek R1 报告使用。
构建方式与示例
人工逐题审核并修正错误答案。修正后部分模型排名变化，证明噪声确实影响评测。
返回评测
综合 综合-知识 接近饱和
模态 · 文本
任务 · 选择 / 判断
MMLU-Redux
对 MMLU 中的 3000 道题进行人工重新标注，修正约 6.8% 的错误标签
Edinburgh & 多校 ·
考察能力
知识理解 多学科
构建信息
- 数据规模
- 3000 questions (MMLU 子集重标)
- 构建方式
- 人工重新标注 MMLU 题目
- 评测方式
- 多选准确率
- 核心指标
- Accuracy (%)
资源链接
模型效果排行
🥇 DeepSeek R1
92.9% 2025-01
🥈 GPT-4o
88.0% 2024-06
知识 去噪 MMLU