为什么重要
QuAC 设计了信息不对称的对话场景：提问者看不到原文，只能通过提问来获取信息。这比 CoQA（双方都能看到原文）更贴近真实的信息寻求场景，是评测 LLM 作为知识助手的关键基准。
构建方式
标注者分为”学生”和”老师”两角色：学生只能看到维基百科文章的标题和摘要，需通过提问获取更多信息；老师能看到全文，从中抽取答案。
任务示例
- 文章：关于某位音乐家的维基百科
- Student: “What is the musician known for?”
- Teacher: “He is known for pioneering electronic music” (抽取自原文)
- Student: “Did he release any famous albums?”（信息寻求延续）
关键发现
- 信息不对称导致更多探索性问题，比 SQuAD 式 QA 更接近真实交互
- CANNOTANSWER 标签要求模型学会拒答——约 20% 的问题文中没有答案
- 人类水平 F1 约 81，说明任务本身有较高歧义
关联基准
CoQA（对称对话 QA）、SQuAD（单轮 QA）、OR-QuAC（开放检索版）
不足与展望
基于维基百科的领域相对单一。信息不对称的设定有价值，但规模还不够大，难以全面测试 LLM 的信息寻求策略。