为什么重要
StoryCloze 测试模型对日常叙事的理解——给出四句故事前提，从两个候选结尾中选择合理的那个。看似简单，但需要丰富的常识知识和因果推理能力。它是衡量语言模型”故事理解”能力的经典基准。
构建方式
众包收集五句短故事，然后替换最后一句为两个选项：一个合理结尾 + 一个不合理结尾。通过多轮验证确保不合理选项不能通过表面线索排除。
任务示例
- 前四句：“Karen was assigned a roommate her first year of college. Her roommate was very messy. Karen tried to be patient. Finally she confronted her roommate.”
- 选项 A: “Her roommate agreed to be tidier.” ✓
- 选项 B: “Karen decided to move to the moon.”
关键发现
- GPT-2 时代通过无监督预训练 + 微调首次接近人类水平
- 是 Zero-shot 语言模型能力的早期试金石
- 揭示了语言模型隐式学习叙事因果关系的能力
关联基准
COPA（因果推理）、HellaSwag（常识续写）、PIQA（物理直觉）
不足与展望
二选一格式难以区分现代大模型。评测粒度粗，无法诊断具体推理失败类型。