[WIP] 科学图表问答蒸馏：arXiv 驱动的多模态科学理解训练数据

一、动机：为什么科学图表理解仍是多模态模型的软肋

1.1 能力瓶颈

当前最强的多模态大模型（GPT-4V、Claude 3、Gemini 等）在自然图像理解上已表现出色，但一旦涉及科学图表，表现便会显著下滑。原因是多方面的：

• 视觉语义的高度专业化：科学图表（折线图、误差棒图、热力图、消融对比表等）拥有大量领域约定符号，与自然图像分布差异极大。
• 跨模态对齐的稀缺性：现有多模态预训练语料中，配有精细标注的科学图表占比极低，模型在该分布外泛化能力有限。
• 推理链路的深度要求：正确解读一张科学图，不仅需要读数，还需要结合方法背景、理解对比设定、推断作者意图——这是纯视觉感知之外的跨模态推理。

1.2 应用价值

科学图表理解能力的提升，直接打通了以下高价值场景：

场景	能力需求
科研助手	阅读论文时自动提炼图表结论，辅助文献综述
论文审稿	检查图表与正文描述是否一致，识别数据呈现问题
数据分析加速	从历史论文图表中提取关键指标，构建知识库
教育辅助	解释学术图表，帮助学生理解科研结果

即便只是在审稿和文献阅读两个环节，一个能够准确读懂科学图表的模型，也能为研究者节省大量机械性认知负担。

1.3 现有数据集的缺口

目前主流的图表问答数据集，在科学理解深度上存在系统性短板：

• FigureQA（Kahou et al., 2018）：合成数据，问题类型极度简化，局限于「哪条线更高」「颜色对应什么」等视觉比较题，无需任何领域知识。
• ChartQA（Masry et al., 2022）：真实图表，但问题多为数值抽取（「2020 年的值是多少」），缺乏推理链路。
• SciGraphQA（Li & Tajbakhsh, 2023）：覆盖 arXiv 图表，但答案由 LLM 生成，缺乏外部 ground truth 验证，幻觉风险高，无法保证答案可信度。
• MMSci / SciMMIR 等：着重于检索或分类任务，而非开放式或选择式推理 QA。

核心缺口：现有数据集要么问题太浅（数值读取为主），要么答案不可信（纯 LLM 生成无验证）。一个兼顾深度推理且答案可程序验证的科学图表 QA 数据集，目前几乎不存在。

---

二、与现有方法的对比

2.1 问题深度不足

FigureQA 和 ChartQA 在设计上偏向「感知层」——模型只需正确解析视觉元素即可答题，不需要理解科学背景。这类数据对于训练通用图表解析能力有用，但对提升科学推理能力几乎没有贡献。

一个具备科学图表理解能力的模型，应该能够回答：「这张消融实验图说明了哪个模块对性能提升贡献最大？」「图中 baseline 与 proposed method 的差距在哪个数据集上最显著，为什么？」这类问题不可能从视觉感知单独得出。

2.2 答案可信度问题

SciGraphQA 和部分多模态科学基准使用 GPT-4 直接对图像生成 QA 对。这种方法的问题在于：

• LLM 可能对图表产生幻觉（读错数值、误判趋势）
• 答案无法独立于生成模型验证
• 同一个模型既生成训练数据又被评估，存在数据污染和循环验证问题

2.3 本方案的差异化定位

本方案的核心思路：把论文正文中对图表的解读段落作为外部 ground truth。

arXiv 论文的作者在写作时，会在正文中精确描述每张图的含义（「如图 3 所示，我们的方法在所有基准上均超过 baseline 3 个点以上」）。这些文字是人类专家对图表的权威解读，且与图表一一对应。

利用这一结构，可以构建「图+caption → 问题，正文段落 → 答案来源」的数据流，使每个答案都有可追溯的文本依据，支持程序化验证，从根本上规避幻觉问题。

---

三、具体方案

3.1 数据来源

arXiv 论文是天然的富矿：

• 截至 2025 年，arXiv 累积超过 230 万篇预印本论文
• 每篇论文平均包含 4-8 张图表，保守估计可用图表超过 1000 万张
• 论文涵盖 CS、物理、数学、生物、经济等多学科领域
• 绝大多数论文以 LaTeX 格式提交，源码可解析，图表与 caption 可精确提取

3.2 采集 Pipeline

arXiv LaTeX 源码
       │
       ▼
[Step 1] 图表与正文提取
  - nougat / mathpix 解析 PDF → 结构化文本 + 图像
  - 从 LaTeX 源码提取 \figure 环境 → 图片路径 + caption
       │
       ▼
[Step 2] 图表-正文对齐
  - 规则匹配：正文中 "Figure X" / "Fig. X" 引用
  - LLM 辅助：对模糊引用（"as shown above"）进行语义对齐
  - 输出：每张图 → 对应的 1-3 个正文解读段落
       │
       ▼
[Step 3] 问题生成
  - 输入：图像 + caption + 对齐段落
  - 使用 GPT-4V / Claude 3 生成候选问题
  - 按难度分层模板约束问题类型（见 3.4）
       │
       ▼
[Step 4] 答案验证
  - 字符串匹配：答案关键词出现在对齐段落中
  - 语义相似度：answer embedding ↔ source sentence embedding > 阈值
  - 无法验证的 QA 对丢弃（保守过滤）
       │
       ▼
[Step 5] 干扰项生成
  - 同一篇论文中其他数值/结论作为 hard negatives
  - LLM 生成合理但错误的干扰项
  - 构成 4 选 1 选择题格式（或保留开放式格式）

3.3 数据格式示例

{
  "id": "arxiv_2312.04567_fig3_q1",
  "paper_id": "2312.04567",
  "figure_path": "figures/fig3_ablation.png",
  "figure_caption": "Figure 3: Ablation study on ImageNet-1K. We compare removing each component of our proposed framework. 'w/o aug' removes data augmentation, 'w/o contrastive' removes the contrastive loss term.",
  "question": "根据消融实验，移除哪个组件导致了最大的性能下降？",
  "answer": "移除对比损失（w/o contrastive）导致最大性能下降，Top-1 准确率降低约 2.3%。",
  "answer_source_text": "As shown in Figure 3, removing the contrastive loss term (w/o contrastive) leads to the most significant performance drop of 2.3% in Top-1 accuracy, indicating its critical role in representation learning.",
  "wrong_answers": [
    "移除数据增强（w/o aug）导致最大性能下降",
    "两个组件对性能的影响相同",
    "移除对比损失仅影响 Top-5 准确率，对 Top-1 无显著影响"
  ],
  "difficulty_level": 2,
  "domain": "cs.CV",
  "reasoning_type": "trend_analysis",
  "verified": true,
  "verification_method": "semantic_similarity",
  "similarity_score": 0.91
}

3.4 问题难度分层

Level	类型	示例问题	所需能力
L1: 数值读取	读取图中具体数值	「图中方法 A 在数据集 X 上的准确率是多少？」	视觉感知
L2: 趋势判断	判断变化方向或相对大小	「随着训练轮数增加，验证损失的变化趋势是？」	视觉推理
L3: 跨图比较	综合多张图得出结论	「对比图 2 和图 4，哪个模型在低资源场景下更鲁棒？」	多图推理
L4: 结合正文推理	需要正文背景才能正确解读	「图 5 中 baseline 差距扩大的原因，作者如何解释？」	跨模态推理

分层的意义在于：L1-L2 可用于基础视觉感知训练，L3-L4 则专门针对高阶科学推理，可按需组合配比，服务不同训练目标。

3.5 数据规模估算

维度	估算
目标论文数	50 万篇（CS + 物理 + 生物子集）
平均可用图表	3 张/篇（过滤纯示意图、截图等）
候选图表总数	~150 万张
通过对齐验证比例	~60%
通过答案验证比例	~50%
最终 QA 对估算	~45 万条（可扩展至百万级）

L1:L2:L3:L4 = 3:3:2:2 的比例配比，确保难度分布合理。

🔄 [v2 改进]

真实规模漏斗（修正估算）

原估算「45万条」是基于理想化假设的粗算，实际 pipeline 的逐层损耗远高于此。以 CS 领域近5年论文为基准，逐步拆解如下：

筛选层级	数量	说明
arXiv CS 领域近5年论文	~50 万篇	基准数量
含可解析图表（非纯公式图/流程图）	~30 万篇（60%）	大量论文图表为示意图或伪代码，不含可问答的数据图
nougat/mathpix 解析成功	~21 万篇（70%）	PDF 质量参差，复杂排版、双栏、低分辨率均会导致解析失败
图表有对应正文解读段落	~12.6 万篇（60%）	部分论文图表引用模糊（「上图」「左图」），无法可靠对齐
L1/L2 题目可自动构造	~10 万篇（80%）	数值读取/趋势判断类问题的自动生成成功率较高
L3/L4 题目需人工辅助	~2.5 万篇（独立估算，20%）	跨图/正文推理类问题生成质量难以自动保证

修正总估算：约 10–12 万条 L1/L2 + 约 2.5 万条 L3/L4

原估算 45 万条过高，主要误差来源是：高估了 nougat/mathpix 的解析成功率，以及低估了「图表有清晰正文解读段落」的筛选损耗。修正后的数字仍具备训练价值，但发表时需如实声明规模，避免后续复现时出现数量差距引发质疑。

---

四、客观评价

4.1 真正有价值的地方

外部验证机制是本方案最核心的贡献。每个答案都有来自论文正文的溯源文本，可通过语义相似度自动验证，这在现有科学图表数据集中几乎是空白。这一设计：

• 大幅降低幻觉率（答案有据可查）
• 使数据质量评估标准可量化（不再依赖人工抽检猜测）
• 为后续模型评估提供可信 ground truth

难度分层允许训练课程的精细设计。研究者可以先用 L1-L2 数据完成基础视觉对齐，再用 L3-L4 进行高阶推理微调，或者专门构建推理能力的 benchmark。

领域覆盖是 arXiv 数据来源的天然优势。从量子物理到医学影像、从经济学时序图到 NLP 实验表格，一套 pipeline 可以产出真正多领域的科学图表数据，避免单一领域偏差。

4.2 主要挑战

图表提取质量参差不齐：arXiv PDF 质量差异极大，部分图表因压缩、扫描或复杂排版导致提取失真。nougat/mathpix 对矢量图效果好，对栅格化或嵌套图则较弱。需要建立图像质量筛选机制（分辨率、清晰度阈值）。

正文-图表对齐噪声：不是所有论文都规范引用图号。部分作者使用「上图」「左图」等非正式引用，规则匹配会漏掉或误配。LLM 辅助对齐虽然有效，但引入了额外的噪声来源，需要人工抽样校验。

问题质量控制：LLM 生成的问题可能过于模板化（「图中哪个值更大」重复出现），多样性不足。需要设计去重策略和问题多样性评分，避免数据集退化为单调问题的堆叠。

数据泄漏风险：许多 arXiv 论文已在主流 LLM 的预训练语料中出现。若训练和评估数据有重叠，评测结果会虚高。需要按论文发表时间切分训练/测试集（如 2024 年后的论文仅用于评测）。

4.3 与现有工作的互补定位

本数据集不是要替代 ChartQA 或 FigureQA，而是填补「深度科学推理 + 可验证答案」这一象限的空白：

                  高推理深度
                      │
           本方案 ●   │
                      │
──────────────────────┼──────────────────── 答案可验证
                      │
    SciGraphQA ●      │          ChartQA ●
                      │
                  低推理深度

两类数据配合使用，可构建从感知到推理的完整训练链路。

4.4 评估设计

数据集质量不能只靠内部验证率来衡量，需要端到端的训练-评估闭环。建议的评估策略分两层：

（1）内部验证指标

• L1/L2 数据：字符串匹配率 + 语义相似度，目标 >85%
• L3/L4 数据：人工抽检比例提高至 30%（L1/L2 5% 即可）

（2）外部基准对照

在已有的标准 benchmark 上测试，确保结果可与其他工作横向比较。

🔄 [v2 改进]

L3/L4 专用验证方案

L3/L4 题目的验证是本方案最薄弱的环节——跨图推理和正文依赖推理无法像 L1/L2 那样用程序自动校验，需要专门的验证机制：

蒸馏三元组构造：对每个 L3/L4 QA 对，同时保留「原论文相关段落 + 图表 + 答案」的三元组作为标注依据（答案由 GPT-4V 生成初稿，需人工确认）。这样验证者可以直接看到「答案应该从哪里来」，而不是凭空判断答案对不对。

提高人工抽检比例：L3/L4 人工抽检至 30%（对比 L1/L2 的 5%），因为这两类问题的自动验证可靠性远低于前两级。

干扰答案设计：为每道 L3/L4 题目生成 4 个选项，其中 3 个选项分别对应常见错误类型：

• 混淆了不同子图中的数据
• 答案来自图表但忽略了正文上下文
• 答案来自正文但与图表实际数据不符

用多选题格式不仅增强了验证强度，也使数据本身可作为 diagnostic benchmark 使用。

跨图混淆对验证：对于「跨图比较」类问题（L3），专门构造「故意混淆对」——将两篇结论相似但细节不同的论文的图表放在一起，验证模型是否真正理解了两张图的差异，而不是在做模式匹配。

4.5 适合哪种团队

• 学术实验室：数据量适中（50 万条），具备 GPU 资源的实验室可独立完成 pipeline，适合发表数据集论文。
• 多模态基础模型团队：作为科学领域微调数据，补充通用模型在学术场景的短板。
• AI for Science 方向：与分子结构、蛋白质折叠等数据集互补，构建完整的科学 AI 数据生态。

不建议单纯工程团队在没有 NLP/视觉研究者参与的情况下启动，因为问题质量控制和对齐验证部分需要较深的研究判断，纯自动化 pipeline 会产生大量低质量样本。

---

五、落地路径

数据集构建完成后，发布和落地策略对数据集的可信度至关重要。考虑到 L3/L4 数据的验证强度低于 L1/L2，建议采取分层发布策略，而非一次性发布全量数据。

🔄 [v2 改进]

分层发布策略

Phase 1：只发布 L1/L2 数据集

L1/L2 题目具备可程序验证的答案（字符串匹配 + 语义相似度均可自动跑），置信度高，可作为可靠的多模态基础数据对外发布。这一部分数据可以接受最严格的外部审查，适合在数据集论文中作为主体贡献。

Phase 2：发布 L3/L4 数据集（附声明）

L3/L4 数据集在 Phase 1 建立信誉后再发布，并需明确声明：

• 人工验证覆盖 30% 抽样，其余为模型辅助标注
• 建议将该数据集作为训练数据而非评测基准使用（因 ground truth 置信度不及 L1/L2）

这样的分层策略有两个好处：（1）避免 L3/L4 的验证弱点拖累整个数据集的可信度；（2）给团队争取时间改进 L3/L4 的验证质量，最终有机会将其升级为可靠的评测集。

---

六、评估闭环

🔄 [v2 改进]

端到端评估方案

数据集的价值最终需要通过训练实验来验证。建议的评估闭环如下：

外部 Benchmark 对照（MMMU Science 子集）

MMMU（Massive Multitask Multimodal Understanding）包含 Science 子集，是目前多模态学术评测的主要参考标准之一。在本数据集训练的模型上跑 MMMU Science 子集，可以与其他工作直接比较，不需要另建 benchmark。

内部高难度评测集（L3/L4 对应）

另外构造一个「高难度图表推理」评测集（约500条L3/L4对应题目，全部经人工验证），专门测试跨图推理和正文依赖推理能力。这个评测集比 MMMU 更能体现本数据集的独特价值。

消融实验设计

实验组	训练数据	评测目标
控制组	无图表数据	基线能力
L1/L2 组	加入 L1/L2 数据	验证视觉感知提升
全量组	加入全部 L1-L4 数据	验证高阶推理提升

三组消融实验分别测试各难度级别能力的提升幅度，可清晰呈现数据集各层级的独立贡献，也为读者提供了按需选用数据层级的参考依据。

---

七、小结

「科学图表问答蒸馏数据集」的核心价值不在数量，而在于答案可信度和推理深度的双重突破。以 arXiv 为数据源，以正文段落为外部 ground truth，构建 pipeline 可程序验证的 QA 数据，是当前多模态科学理解研究中一个填补空白、实施可行的方向。

挑战真实存在，但不是阻碍，而是决定数据集质量上限的关键工程问题。做好这件事，产出的不仅是一个数据集，也是一套可复用的科学内容提取与对齐方法论。

当前状态：提案阶段，尚未开始实施。欢迎有意向合作的团队交流 pipeline 细节和资源规模评估。

---

原始版本：science-figure-qa-distillation-data