返回评测
数据 数据-分析 未饱和 模态 · 表格 任务 · 执行验证

HybridQA

需要同时推理维基百科表格和链接文本的 QA 基准

Carnegie Mellon University ·

考察能力

表格推理 跨模态推理 信息整合

构建信息

数据规模
62,682 QA pairs, 13,000 tables
评测方式
精确匹配
核心指标
EM / F1

模型效果排行

🥇 GPT-4o
71.3 EM
🥈 Claude 3.5 Sonnet
68.2 EM

为什么重要

HybridQA 要求模型在维基百科表格和其链接的文本段落之间进行推理——表格中的实体链接到详细描述,回答问题需要同时查看表格数据和文本信息。这种”结构化+非结构化”混合推理是真实数据分析的核心挑战。

构建方式

从维基百科收集信息框表格,每个单元格链接到对应的维基百科文本段落。众包编写需要跨越表格和文本的问题。

任务示例

  • 表格:电影列表(名称、年份、导演)
  • 链接文本:每部电影的详细介绍
  • 问题:“What award did the 2015 movie in this list win?”
  • 需要:查表找 2015 电影 → 跳转到文本 → 找到奖项信息

关键发现

  • 纯表格模型和纯文本模型都无法有效处理混合问题
  • 检索正确的链接文本是关键瓶颈
  • LLM 的长上下文能力对混合推理有天然优势

关联基准

TAT-QA(金融混合)、WikiTableQuestions(纯表格)、Natural Questions(纯文本)

不足与展望

基于维基百科的结构化链接,不代表真实的非结构化数据整合场景。

表格 文本 混合推理 多模态