学术海报→推理链：一个被忽视的视觉-语言交错推理数据构建路径

触发动机

这篇 proposal 的灵感来自一个很具体的场景。我在站内写 Graphic-Design-Bench（多模态设计评测）的 benchmark 条目时，注意到它测试的是”AI 理解专业设计布局”的能力——50 个任务 × 5 轴（布局/排版/信息图表/模板语义/动画），模型在空间推理和组合意识上严重不足。这让我联想到另一种布局——学术海报（poster）。海报比设计模板更有意思：它是一张图中交错排布文字、图表、公式、流程图的复合体，但与设计模板不同的是，海报有配套的论文全文作为 ground truth。这意味着我们可以自动构建 ground truth 标注的空间推理训练数据。再结合站内对多模态评测的追踪（CharXiv 上 ~70% 的骤降、MDK12-Bench 的多学科弱点），确认了”结构化视觉推理”确实是当前多模态模型的系统性盲区。

战略判断：为什么多模态交错推理是关键能力缺口

行业竞争格局

原生多模态模型（Emu3、InternVL3、Seed-Omni、Qwen-Omni）是 2026 年最激烈的赛道之一。站内已有详细的竞争分析（native-multimodal-data-construction、multimodal-pretrain-kimi-qwen-seed-comparison）。

但所有参赛选手有一个共同的弱点：结构化视觉推理。

• ChartQA 上顶级模型已超 90%——但那是单图表、单问题
• CharXiv 上（arXiv 论文图表）准确率骤降到 ~70%——因为科学图表需要关联正文理解
• 没有任何 benchmark 测试”在一个复杂的多区域布局中，按逻辑顺序理解分散的信息”

而这正是人类处理学术海报、技术白皮书、信息图表时的日常能力。

数据缺口

当前多模态训练数据的构成（参考站内 native-multimodal-data-construction 全景分析）：

数据类型	来源	交错程度	推理需求
图文对	LAION/CC	无交错	低（描述性）
文档 QA	DocVQA 等	线性	中（查找+简单推理）
科学图表 QA	ChartQA/CharXiv	单图	中高（数值推理）
教科书	Multimodal Textbook	线性交错	中
复杂布局结构化推理	几乎空白	非线性交错	高

学术海报恰好填补最后一行。

重要性评估

• 直接对应用户需求：研究人员看海报、技术人员看产品白皮书、分析师看信息图表——都是结构化视觉推理
• 数据独特性：海报的”非线性阅读路径”是其他数据源无法替代的
• 规模可行：每年仅 NeurIPS/ICML/ICLR/ACL 四大会就有 ~15K 张海报

---

核心洞察

学术海报的独特之处在于它是空间化的论文——把一篇 8 页论文压缩到一张大图上。读者不能像论文一样从上到下线性阅读，而是：

1. 先扫描整体布局，识别各区域（摘要、方法、实验、结论）
2. 根据兴趣选择阅读路径（可能先看实验结果→再回去看方法→最后看相关工作）
3. 在不同区域之间建立关联（方法图中的箭头→对应实验表中的某一行→验证了摘要中的某个 claim）

这种”空间定位→非线性导航→跨区域关联”的推理过程，是当前多模态训练数据中完全缺失的训练信号。

---

方法论

数据采集

来源	规模	获取方式
NeurIPS/ICML/ICLR 海报	~15K/年	OpenReview 附件下载
ACL/EMNLP/NAACL 海报	~6K/年	ACL Anthology
CVPR/ECCV/ICCV 海报	~8K/年	会议网站
arXiv 论文对应 poster（如有）	不定量	GitHub/论文网站
总计	~30K/年

每张海报配对其对应的完整论文（论文是 ground truth 知识来源）。

三层数据构建

Layer 1：区域标注数据（最简单，量最大）

用 LLM + 视觉模型自动标注海报中各区域的语义角色：

{
  "poster": "poster_image.png",
  "regions": [
    {"bbox": [x1,y1,x2,y2], "role": "title", "text": "..."},
    {"bbox": [x1,y1,x2,y2], "role": "method_diagram", "text": null},
    {"bbox": [x1,y1,x2,y2], "role": "experiment_table", "text": "..."},
    {"bbox": [x1,y1,x2,y2], "role": "result_figure", "text": null}
  ]
}

训练用途：教模型理解复杂布局的语义结构。 质量控制：与论文对应章节比对，角色标注准确率需 >90%。

Layer 2：跨区域关联 QA（核心价值）

基于海报 + 论文，生成需要在多个区域之间跳转才能回答的问题：

Q: "方法图中标注的 'Module B' 在消融实验表中对应哪一行？去掉它后性能下降了多少？"
A: "Module B 对应消融实验表的第三行 'w/o Module B'，去掉后 F1 从 78.3 下降到 71.6，下降了 6.7 个百分点。"
reasoning_chain: [
  "1. 在方法图（左侧区域）中定位 'Module B' → 位于架构的第二层",
  "2. 扫描消融实验表（右下区域）→ 找到 'w/o Module B' 行",
  "3. 读取数值：Full model F1=78.3, w/o Module B F1=71.6",
  "4. 计算差异：78.3 - 71.6 = 6.7"
]

关键：reasoning_chain 中的每一步都包含空间定位信息（“左侧区域”、“右下区域”），这是训练模型学会”在图中导航”的核心信号。

Layer 3：海报→论文逆向推理（最难，质量最高）

给模型一张海报（不给论文），要求它：

1. 重建论文的逻辑结构
2. 识别海报中没有说清楚的地方（海报空间有限，必然省略了论文中的某些细节）
3. 提出需要阅读原论文才能回答的深度问题

这一层数据训练模型的”知道自己不知道”能力——看一张海报后，能准确判断自己从中获取了什么信息、还缺什么信息。

质量控制

1. 区域标注验证：与 OCR 提取的文字内容交叉验证
2. QA 答案验证：用论文原文作为 ground truth，检查答案的事实正确性
3. 推理链验证：每一步的空间定位是否正确（bbox 是否确实包含对应内容）

---

规模估算

• 原始海报：~30K 张/年（三年积累约 ~90K）
• Layer 1 区域标注：90K × 平均 8 区域 = ~720K 区域标注样本
• Layer 2 跨区域 QA：90K × 平均 5 问题 = ~450K QA 对（带推理链）
• Layer 3 逆向推理：90K × 1 = ~90K 深度推理样本
• 总 token 量：~400M tokens（图像 token 另计）

---

与已有方案的关系

方案	关系
科学图表 QA 蒸馏（站内）	互补——那个聚焦单图表 QA，本提案聚焦多区域复杂布局
代码-图表三元对齐（站内）	互补——那个聚焦代码相关的技术图表，本提案聚焦学术全场景
原生多模态数据构建（站内）	上游——本提案的产出数据直接注入原生多模态预训练
Multimodal Textbook（DAMO）	互补——教科书是线性交错，海报是非线性交错

---

落地路径

1. Week 1：从 OpenReview 爬取 NeurIPS 2024/2025 海报 + 配对论文（~6K 对）
2. Week 2：实现区域标注 pipeline（OCR + 视觉模型 + 规则后处理）
3. Week 3：Layer 2 QA 生成——用强模型基于论文生成跨区域问题
4. Week 4：质量验证——抽样 500 条人工检查
5. Week 5-6：扩展到全部会议，Layer 3 逆向推理数据生成