为什么重要
CoQA 是第一个大规模对话式阅读理解数据集。与 SQuAD 的单轮问答不同，CoQA 模拟真实对话场景——后续问题依赖前面的回答，包含大量省略和指代。这种多轮依赖使其成为测试 LLM 对话能力的重要基准。
构建方式
两位标注者围绕一段文本进行对话：一人提问，一人回答。文本来源覆盖 7 个领域（儿童故事、文学、新闻、维基百科等），确保领域多样性。
任务示例
- 段落：关于某位科学家的传记
- Q1: “Where was she born?” → A1: “In Paris”
- Q2: “When?” → A2: “1867”（需理解 “When” 指代出生时间）
- Q3: “What did she study?” → A3: “Physics and mathematics”
关键发现
- 对话中约 60% 的问题包含共指或省略，需要上下文建模
- 自由形式回答比抽取式更自然但评测更难
- 跨领域泛化是关键挑战
关联基准
QuAC（更侧重信息寻求）、SQuAD（单轮抽取式）、DoQA（领域对话）
不足与展望
F1 指标难以完整捕捉回答质量。随着 LLM 对话能力的提升，需要更复杂的多轮评测场景。