为什么重要
ARC（AI2 Reasoning Challenge）的 Challenge 子集包含 1172 道对简单检索方法困难的科学选择题，是常识推理的经典基准。
构建方式与示例
从美国小学/初中科学考试中收集，筛选出”简单方法做不对”的难题。例如：“为什么金属勺子放在热汤里会变热？“
关联基准与展望
关联：HellaSwag、WinoGrande。已接近饱和（97%+）。
返回评测
推理 逻辑推理 已饱和
模态 · 文本
任务 · 选择 / 判断
ARC (AI2 Reasoning Challenge)
7,787 道小学科学多选题，Challenge 子集只保留需要推理（而非检索）的难题
Allen AI ·
考察能力
科学推理 常识 物理 生物 地球科学
构建信息
- 数据规模
- 7,787 questions (Challenge: 2,590)
- 评测方式
- 标准评测
- 核心指标
- Accuracy (%)
资源链接
模型效果排行
🥇 GPT-5
98.3%
🥈 Claude Opus 4
97.1%
🥉 GPT-4o
96.4%
科学 常识 推理