[WIP] 科学图表问答蒸馏：arXiv 驱动的多模态科学理解训练数据

一、动机：为什么科学图表理解仍是多模态模型的软肋

1.1 能力瓶颈

当前最强的多模态大模型（GPT-4V、Claude 3、Gemini 等）在自然图像理解上已表现出色，但一旦涉及科学图表，表现便会显著下滑。原因是多方面的：

• 视觉语义的高度专业化：科学图表（折线图、误差棒图、热力图、消融对比表等）拥有大量领域约定符号，与自然图像分布差异极大。
• 跨模态对齐的稀缺性：现有多模态预训练语料中，配有精细标注的科学图表占比极低，模型在该分布外泛化能力有限。
• 推理链路的深度要求：正确解读一张科学图，不仅需要读数，还需要结合方法背景、理解对比设定、推断作者意图——这是纯视觉感知之外的跨模态推理。

1.2 应用价值

科学图表理解能力的提升，直接打通了以下高价值场景：

场景	能力需求
科研助手	阅读论文时自动提炼图表结论，辅助文献综述
论文审稿	检查图表与正文描述是否一致，识别数据呈现问题
数据分析加速	从历史论文图表中提取关键指标，构建知识库
教育辅助	解释学术图表，帮助学生理解科研结果

即便只是在审稿和文献阅读两个环节，一个能够准确读懂科学图表的模型，也能为研究者节省大量机械性认知负担。

1.3 现有数据集的缺口

目前主流的图表问答数据集，在科学理解深度上存在系统性短板：

• FigureQA（Kahou et al., 2018）：合成数据，问题类型极度简化，局限于「哪条线更高」「颜色对应什么」等视觉比较题，无需任何领域知识。
• ChartQA（Masry et al., 2022）：真实图表，但问题多为数值抽取（「2020 年的值是多少」），缺乏推理链路。
• SciGraphQA（Li & Tajbakhsh, 2023）：覆盖 arXiv 图表，但答案由 LLM 生成，缺乏外部 ground truth 验证，幻觉风险高，无法保证答案可信度。
• MMSci / SciMMIR 等：着重于检索或分类任务，而非开放式或选择式推理 QA。

核心缺口：现有数据集要么问题太浅（数值读取为主），要么答案不可信（纯 LLM 生成无验证）。一个兼顾深度推理且答案可程序验证的科学图表 QA 数据集，目前几乎不存在。

---

二、与现有方法的对比

2.1 问题深度不足

FigureQA 和 ChartQA 在设计上偏向「感知层」——模型只需正确解析视觉元素即可答题，不需要理解科学背景。这类数据对于训练通用图表解析能力有用，但对提升科学推理能力几乎没有贡献。

一个具备科学图表理解能力的模型，应该能够回答：「这张消融实验图说明了哪个模块对性能提升贡献最大？」「图中 baseline 与 proposed method 的差距在哪个数据集上最显著，为什么？」这类问题不可能从视觉感知单独得出。

2.2 答案可信度问题

SciGraphQA 和部分多模态科学基准使用 GPT-4 直接对图像生成 QA 对。这种方法的问题在于：

• LLM 可能对图表产生幻觉（读错数值、误判趋势）
• 答案无法独立于生成模型验证
• 同一个模型既生成训练数据又被评估，存在数据污染和循环验证问题

2.3 本方案的差异化定位

本方案的核心思路：把论文正文中对图表的解读段落作为外部 ground truth。

arXiv 论文的作者在写作时，会在正文中精确描述每张图的含义（「如图 3 所示，我们的方法在所有基准上均超过 baseline 3 个点以上」）。这些文字是人类专家对图表的权威解读，且与图表一一对应。

利用这一结构，可以构建「图+caption → 问题，正文段落 → 答案来源」的数据流，使每个答案都有可追溯的文本依据，支持程序化验证，从根本上规避幻觉问题。

---

三、具体方案

3.1 数据来源

arXiv 论文是天然的富矿：

• 截至 2025 年，arXiv 累积超过 230 万篇预印本论文
• 每篇论文平均包含 4-8 张图表，保守估计可用图表超过 1000 万张
• 论文涵盖 CS、物理、数学、生物、经济等多学科领域
• 绝大多数论文以 LaTeX 格式提交，源码可解析，图表与 caption 可精确提取

3.2 采集 Pipeline

arXiv LaTeX 源码
       │
       ▼
[Step 1] 图表与正文提取
  - nougat / mathpix 解析 PDF → 结构化文本 + 图像
  - 从 LaTeX 源码提取 \figure 环境 → 图片路径 + caption
       │
       ▼
[Step 2] 图表-正文对齐
  - 规则匹配：正文中 "Figure X" / "Fig. X" 引用
  - LLM 辅助：对模糊引用（"as shown above"）进行语义对齐
  - 输出：每张图 → 对应的 1-3 个正文解读段落
       │
       ▼
[Step 3] 问题生成
  - 输入：图像 + caption + 对齐段落
  - 使用 GPT-4V / Claude 3 生成候选问题
  - 按难度分层模板约束问题类型（见 3.4）
       │
       ▼
[Step 4] 答案验证
  - 字符串匹配：答案关键词出现在对齐段落中
  - 语义相似度：answer embedding ↔ source sentence embedding > 阈值
  - 无法验证的 QA 对丢弃（保守过滤）
       │
       ▼
[Step 5] 干扰项生成
  - 同一篇论文中其他数值/结论作为 hard negatives
  - LLM 生成合理但错误的干扰项
  - 构成 4 选 1 选择题格式（或保留开放式格式）

3.3 数据格式示例

{
  "id": "arxiv_2312.04567_fig3_q1",
  "paper_id": "2312.04567",
  "figure_path": "figures/fig3_ablation.png",
  "figure_caption": "Figure 3: Ablation study on ImageNet-1K. We compare removing each component of our proposed framework. 'w/o aug' removes data augmentation, 'w/o contrastive' removes the contrastive loss term.",
  "question": "根据消融实验，移除哪个组件导致了最大的性能下降？",
  "answer": "移除对比损失（w/o contrastive）导致最大性能下降，Top-1 准确率降低约 2.3%。",
  "answer_source_text": "As shown in Figure 3, removing the contrastive loss term (w/o contrastive) leads to the most significant performance drop of 2.3% in Top-1 accuracy, indicating its critical role in representation learning.",
  "wrong_answers": [
    "移除数据增强（w/o aug）导致最大性能下降",
    "两个组件对性能的影响相同",
    "移除对比损失仅影响 Top-5 准确率，对 Top-1 无显著影响"
  ],
  "difficulty_level": 2,
  "domain": "cs.CV",
  "reasoning_type": "trend_analysis",
  "verified": true,
  "verification_method": "semantic_similarity",
  "similarity_score": 0.91
}

3.4 问题难度分层

Level	类型	示例问题	所需能力
L1: 数值读取	读取图中具体数值	「图中方法 A 在数据集 X 上的准确率是多少？」	视觉感知
L2: 趋势判断	判断变化方向或相对大小	「随着训练轮数增加，验证损失的变化趋势是？」	视觉推理
L3: 跨图比较	综合多张图得出结论	「对比图 2 和图 4，哪个模型在低资源场景下更鲁棒？」	多图推理
L4: 结合正文推理	需要正文背景才能正确解读	「图 5 中 baseline 差距扩大的原因，作者如何解释？」	跨模态推理

分层的意义在于：L1-L2 可用于基础视觉感知训练，L3-L4 则专门针对高阶科学推理，可按需组合配比，服务不同训练目标。

3.5 数据规模估算

维度	估算
目标论文数	50 万篇（CS + 物理 + 生物子集）
平均可用图表	3 张/篇（过滤纯示意图、截图等）
候选图表总数	~150 万张
通过对齐验证比例	~60%
通过答案验证比例	~50%
最终 QA 对估算	~45 万条（可扩展至百万级）

L1:L2:L3:L4 = 3:3:2:2 的比例配比，确保难度分布合理。

---

四、客观评价

4.1 真正有价值的地方

外部验证机制是本方案最核心的贡献。每个答案都有来自论文正文的溯源文本，可通过语义相似度自动验证，这在现有科学图表数据集中几乎是空白。这一设计：

• 大幅降低幻觉率（答案有据可查）
• 使数据质量评估标准可量化（不再依赖人工抽检猜测）
• 为后续模型评估提供可信 ground truth

难度分层允许训练课程的精细设计。研究者可以先用 L1-L2 数据完成基础视觉对齐，再用 L3-L4 进行高阶推理微调，或者专门构建推理能力的 benchmark。

领域覆盖是 arXiv 数据来源的天然优势。从量子物理到医学影像、从经济学时序图到 NLP 实验表格，一套 pipeline 可以产出真正多领域的科学图表数据，避免单一领域偏差。

4.2 主要挑战

图表提取质量参差不齐：arXiv PDF 质量差异极大，部分图表因压缩、扫描或复杂排版导致提取失真。nougat/mathpix 对矢量图效果好，对栅格化或嵌套图则较弱。需要建立图像质量筛选机制（分辨率、清晰度阈值）。

正文-图表对齐噪声：不是所有论文都规范引用图号。部分作者使用「上图」「左图」等非正式引用，规则匹配会漏掉或误配。LLM 辅助对齐虽然有效，但引入了额外的噪声来源，需要人工抽样校验。

问题质量控制：LLM 生成的问题可能过于模板化（「图中哪个值更大」重复出现），多样性不足。需要设计去重策略和问题多样性评分，避免数据集退化为单调问题的堆叠。

数据泄漏风险：许多 arXiv 论文已在主流 LLM 的预训练语料中出现。若训练和评估数据有重叠，评测结果会虚高。需要按论文发表时间切分训练/测试集（如 2024 年后的论文仅用于评测）。

4.3 与现有工作的互补定位

本数据集不是要替代 ChartQA 或 FigureQA，而是填补「深度科学推理 + 可验证答案」这一象限的空白：

                  高推理深度
                      │
           本方案 ●   │
                      │
──────────────────────┼──────────────────── 答案可验证
                      │
    SciGraphQA ●      │          ChartQA ●
                      │
                  低推理深度

两类数据配合使用，可构建从感知到推理的完整训练链路。

4.4 适合哪种团队

• 学术实验室：数据量适中（50 万条），具备 GPU 资源的实验室可独立完成 pipeline，适合发表数据集论文。
• 多模态基础模型团队：作为科学领域微调数据，补充通用模型在学术场景的短板。
• AI for Science 方向：与分子结构、蛋白质折叠等数据集互补，构建完整的科学 AI 数据生态。

不建议单纯工程团队在没有 NLP/视觉研究者参与的情况下启动，因为问题质量控制和对齐验证部分需要较深的研究判断，纯自动化 pipeline 会产生大量低质量样本。

---

五、小结

「科学图表问答蒸馏数据集」的核心价值不在数量，而在于答案可信度和推理深度的双重突破。以 arXiv 为数据源，以正文段落为外部 ground truth，构建 pipeline 可程序验证的 QA 数据，是当前多模态科学理解研究中一个填补空白、实施可行的方向。

挑战真实存在，但不是阻碍，而是决定数据集质量上限的关键工程问题。做好这件事，产出的不仅是一个数据集，也是一套可复用的科学内容提取与对齐方法论。

当前状态：提案阶段，尚未开始实施。欢迎有意向合作的团队交流 pipeline 细节和资源规模评估。