返回评测
领域专业 领域-金融 未饱和 模态 · 文本 任务 · 选择 / 判断

FinQA

基于金融财报的数值推理问答,8,281 问答对

UCLA / Morgan Stanley ·

考察能力

金融推理 数值计算 表格理解 多步推理

构建信息

数据规模
8,281 QA pairs from 2,789 financial reports
评测方式
程序执行
核心指标
Execution Accuracy / Program Accuracy

模型效果排行

🥇 GPT-4o
71.2%
🥈 FinMA
65.3%

为什么重要

FinQA 要求模型阅读真实上市公司的年报(包含大量表格和数字),然后执行多步数值推理。答案以可执行程序的形式呈现(如 “divide(subtract(5.2, 3.1), 3.1)”),确保推理过程可验证。这是金融 NLP 最重要的评测基准之一。

构建方式

从 S&P 500 公司的 SEC 10-K/10-Q 财报中采集。金融专家标注问题、推理程序和答案。涉及收入增长率计算、利润率分析、同比/环比变化等。

任务示例

  • 表格:2020 营收 $5.2B, 2019 营收 $4.8B
  • 问题:“What is the year-over-year revenue growth rate?”
  • 程序:divide(subtract(5.2, 4.8), 4.8) = 8.33%

关键发现

  • 金融领域的数值推理需要专业知识(如摊销、折旧的处理方式)
  • 表格+文本的混合输入比纯文本更难处理
  • 程序化答案格式使评测更客观但限制了推理表达的灵活性

关联基准

TAT-QA(表格+文本 QA)、ConvFinQA(对话式金融 QA)、FinanceBench(金融综合)

不足与展望

仅覆盖美国上市公司英文财报。缺少跨报告的比较分析任务。

金融 数值推理 表格 专业领域