返回评测
领域专业 领域-金融 未饱和 模态 · 文本 任务 · 选择 / 判断

ConvFinQA

在 FinQA 基础上增加多轮对话的金融数值推理

UCLA / Morgan Stanley ·

考察能力

多轮推理 金融数值推理 对话上下文 表格理解

构建信息

数据规模
3,892 conversations, 14,115 questions
评测方式
程序执行
核心指标
Execution Accuracy

模型效果排行

🥇 GPT-4o
76.8%
🥈 Claude 3.5 Sonnet
73.4%

为什么重要

ConvFinQA 将 FinQA 的金融推理扩展到多轮对话场景——更贴近真实的金融分析师与 AI 系统的交互模式。后续问题依赖前面的回答,需要跟踪对话状态和累积的计算结果。

构建方式

在 FinQA 的基础上,标注者围绕同一段财报进行多轮问答。每轮问题建立在前轮答案之上,构成逻辑连贯的分析对话。

任务示例

  • Q1: “What was the revenue in 2020?” → A1: “$5.2B”
  • Q2: “And in 2019?” → A2: “$4.8B”(上下文推断是同一指标)
  • Q3: “What was the growth rate?” → A3: “divide(subtract(5.2, 4.8), 4.8) = 8.33%“(依赖前两轮答案)

关键发现

  • 多轮累积误差是最大挑战——前面答错后面全错
  • 对话中的指代消解对金融术语特别难
  • LLM 的上下文窗口优势在对话场景中更加明显

关联基准

FinQA(单轮)、TAT-QA(表格文本混合)、FinanceBench(综合金融)

不足与展望

对话轮数通常只有 3-5 轮,不够模拟真实的长对话分析。

金融 对话 数值推理 多轮