RACE

为什么重要

RACE 基于真实的中国中学和高中英语阅读理解考试，题目需要多跳推理和全文理解，比 SQuAD 等抽取式 QA 更具挑战。它是早期预训练模型评测的核心基准之一。

构建方式

1. 收集中国中考（RACE-M）和高考（RACE-H）英语阅读理解真题
2. 每篇文章配 3-5 个四选一选择题
3. 需要综合理解、推理和常识才能作答

任务示例

文章：一篇关于环保的说明文 问题：“What is the author’s main purpose in writing this passage?” 选项：A) To describe… B) To persuade… C) To inform… D) To entertain…

关键发现

• 高考题（RACE-H）对模型挑战更大
• 前沿模型已接近人类水平
• 区分度逐渐下降

关联基准

• MMLU：综合知识评测
• C-Eval：中文综合考试
• AGIEval：人类考试合集

不足与展望

• 选择题形式限制评测深度
• 前沿模型已基本饱和
• 可能被纳入预训练语料