为什么重要
MMLU 作为最广泛使用的 LLM 基准面临严重的数据污染问题——很多模型在训练中已见过测试题。MMLU-CF 通过对问题进行反事实变换（改变关键事实但保持推理结构），使记忆答案无法直接迁移，从而获得更真实的能力评估。
构建方式
对 MMLU 原题进行语义保持的反事实变换：修改数值、替换实体、调整条件——使正确答案改变但推理过程相似。多轮人工审核确保变换后的题目仍然合理。
任务示例
- 原题：“Which planet is closest to the Sun?” → 答案：Mercury
- 反事实：“In a hypothetical solar system where orbits are reversed, which planet would be closest to the star?” → 答案改变
关键发现
- 部分模型在 MMLU-CF 上的得分比 MMLU 低 5-10%，暗示数据污染
- 得分差异最大的模型最可能有污染问题
- 反事实变换是检测污染的有效方法
关联基准
MMLU（原版）、MMLU-Pro（更难版）、MMLU-Redux（修复版）
不足与展望
反事实变换可能改变题目难度。覆盖的科目有限（未全覆盖 57 科）。