为什么重要
TAT-QA 的核心挑战是表格和文本的混合推理——答案可能来自表格、文本或两者的组合。这在金融分析中极为常见(如”表中 2020 营收比文中提到的预期目标高多少”)。它比纯表格 QA 更贴近真实的分析场景。
构建方式
从上市公司年报中抽取页面(包含表格+文本段落),众包标注问题和答案。答案类型包括:span(抽取)、multi-span、counting、arithmetic(计算)。
任务示例
- 表格:各年度营收数据 + 文本:管理层讨论
- 问题:“What was the percentage increase in revenue from 2019 to 2020 as compared to what management predicted?”
- 需要:从表格取数 + 从文本取预测值 + 计算
关键发现
- 混合推理(需同时查表和读文本)是最难的类别
- 算术推理题的准确率比抽取题低 25%+
- 金融领域术语增加了语义理解难度
关联基准
FinQA(金融推理)、HybridQA(混合 QA)、WikiTableQuestions(表格 QA)
不足与展望
仅覆盖英文金融领域。缺少跨文档的混合推理场景。