为什么重要
HellaSwag 曾是常识推理核心基准，通过对抗性过滤生成干扰选项。已饱和（95%+）。
构建方式与示例
70000 道句子补全题。例如：“一个人走进厨房，打开水龙头…” → 选最合理的后续。
关联基准与展望
关联：WinoGrande、ARC-Challenge。已饱和。
返回评测
推理 常识推理 已饱和
模态 · 文本
任务 · 选择 / 判断
HellaSwag
对抗性句子补全任务，已基本饱和 (95%+)
Allen AI & UW ·
考察能力
常识推理 自然语言推理
构建信息
- 数据规模
- 70,000 questions
- 评测方式
- 标准评测
- 核心指标
- Accuracy (%)
资源链接
模型效果排行
🥇 GPT-4o
95.3%
🥈 Claude 3.5
94.8%
常识推理 已饱和