为什么重要
FinQA 要求模型阅读真实上市公司的年报(包含大量表格和数字),然后执行多步数值推理。答案以可执行程序的形式呈现(如 “divide(subtract(5.2, 3.1), 3.1)”),确保推理过程可验证。这是金融 NLP 最重要的评测基准之一。
构建方式
从 S&P 500 公司的 SEC 10-K/10-Q 财报中采集。金融专家标注问题、推理程序和答案。涉及收入增长率计算、利润率分析、同比/环比变化等。
任务示例
- 表格:2020 营收 $5.2B, 2019 营收 $4.8B
- 问题:“What is the year-over-year revenue growth rate?”
- 程序:divide(subtract(5.2, 4.8), 4.8) = 8.33%
关键发现
- 金融领域的数值推理需要专业知识(如摊销、折旧的处理方式)
- 表格+文本的混合输入比纯文本更难处理
- 程序化答案格式使评测更客观但限制了推理表达的灵活性
关联基准
TAT-QA(表格+文本 QA)、ConvFinQA(对话式金融 QA)、FinanceBench(金融综合)
不足与展望
仅覆盖美国上市公司英文财报。缺少跨报告的比较分析任务。