为什么重要
中国高考是全球最大规模的标准化考试,Gaokao-Bench 将其系统化为 LLM 评测基准。相比 C-Eval/CMMLU 的选择题形式,高考包含填空、简答、作文等多种题型,对中文模型的评估更全面。
构建方式
- 收集 2010-2022 年全国卷和各省卷高考真题
- 覆盖语文、数学、英语、物理、化学、生物、历史、地理、政治 9 科
- 保留原始题型(选择/填空/简答/作文)
任务示例
数学:“已知函数 f(x) = x³ - 3x + 1,求函数的极值点和极值。” 语文作文:“阅读以下材料,写一篇不少于 800 字的文章。“
关键发现
- 数学和理科仍是模型弱项,尤其是几何证明
- 语文作文评分高度依赖评估标准
- 中文特色知识(历史、政治)对国际模型有挑战
关联基准
不足与展望
- 作文等开放题型难以自动评分
- 高考题库有限,存在污染风险
- 部分学科(如政治)答案有时效性