为什么重要
ARC-Easy 是 ARC 基准中能被检索和统计方法解决的子集。与 ARC-Challenge 形成对照，用于验证基准的难度分层是否有效。
评测设计
从美国小学科学考试中选取的四选一多选题。Easy 子集可被简单基线（如 TF-IDF 检索）解答。
返回评测
推理 科学推理 已饱和
模态 · 文本
任务 · 选择 / 判断
ARC-Easy
ARC 基准中较简单的子集，1,172 道小学科学题
Allen Institute for AI ·
考察能力
科学推理 常识知识 多选推理
构建信息
- 数据规模
- 5,197 题
- 评测方式
- 标准评测
- 核心指标
- Accuracy
资源链接
模型效果排行
🥇 GPT-4o
98.5%
🥈 Claude 3.5 Sonnet
97.9%
科学推理 多选题 小学科学 经典基准