为什么重要
HybridQA 要求模型在维基百科表格和其链接的文本段落之间进行推理——表格中的实体链接到详细描述,回答问题需要同时查看表格数据和文本信息。这种”结构化+非结构化”混合推理是真实数据分析的核心挑战。
构建方式
从维基百科收集信息框表格,每个单元格链接到对应的维基百科文本段落。众包编写需要跨越表格和文本的问题。
任务示例
- 表格:电影列表(名称、年份、导演)
- 链接文本:每部电影的详细介绍
- 问题:“What award did the 2015 movie in this list win?”
- 需要:查表找 2015 电影 → 跳转到文本 → 找到奖项信息
关键发现
- 纯表格模型和纯文本模型都无法有效处理混合问题
- 检索正确的链接文本是关键瓶颈
- LLM 的长上下文能力对混合推理有天然优势
关联基准
TAT-QA(金融混合)、WikiTableQuestions(纯表格)、Natural Questions(纯文本)
不足与展望
基于维基百科的结构化链接,不代表真实的非结构化数据整合场景。