返回评测
数据 数据-分析 未饱和 模态 · 表格 任务 · 执行验证

TAT-QA

金融报告中表格+文本混合推理的 QA 基准

National University of Singapore ·

考察能力

表格理解 数值推理 混合推理 多步计算

构建信息

数据规模
16,552 questions from 2,757 financial reports
评测方式
精确匹配 + 数值容差
核心指标
EM / F1

模型效果排行

🥇 GPT-4o
74.2 F1
🥈 FinQA-trained
68.5 F1

为什么重要

TAT-QA 的核心挑战是表格和文本的混合推理——答案可能来自表格、文本或两者的组合。这在金融分析中极为常见(如”表中 2020 营收比文中提到的预期目标高多少”)。它比纯表格 QA 更贴近真实的分析场景。

构建方式

从上市公司年报中抽取页面(包含表格+文本段落),众包标注问题和答案。答案类型包括:span(抽取)、multi-span、counting、arithmetic(计算)。

任务示例

  • 表格:各年度营收数据 + 文本:管理层讨论
  • 问题:“What was the percentage increase in revenue from 2019 to 2020 as compared to what management predicted?”
  • 需要:从表格取数 + 从文本取预测值 + 计算

关键发现

  • 混合推理(需同时查表和读文本)是最难的类别
  • 算术推理题的准确率比抽取题低 25%+
  • 金融领域术语增加了语义理解难度

关联基准

FinQA(金融推理)、HybridQA(混合 QA)、WikiTableQuestions(表格 QA)

不足与展望

仅覆盖英文金融领域。缺少跨文档的混合推理场景。

表格 文本 混合推理 金融