STEM 数据构建全景：从大模型到原生多模态的三代演进
系统梳理大模型 STEM 数据构建（数学/科学/工程推理）的方法论演进，从纯文本合成、多模态视觉 STEM 到原生多模态 STEM 数据的前沿展望
STEM 数据构建全景：从大模型到原生多模态的三代演进
综合调研 | 2026 年 4 月 范围：大模型 STEM 数据合成 → 多模态 STEM 数据构建 → 原生多模态 STEM 数据展望 引用论文：30+ 篇核心工作（2024-2026） 关键词：STEM Data, Math Reasoning, Science QA, Multimodal CoT, Native Multimodal, Process Reward Model, Formal Verification
一、问题的轮廓
STEM（科学、技术、工程、数学）推理是衡量大模型智能水平的核心维度之一。一个能做竞赛数学题的模型、一个能读懂物理实验图表的模型、一个能从分子结构图推导化学性质的模型——它们需要的训练数据在结构和质量上有本质的不同。
这篇调研试图回答一个递进的问题链：
- 纯文本大模型的 STEM 数据怎么建？ 从 DeepSeekMath 到 rStar-Math，数学推理数据的合成管线经历了哪些范式迭代？
- 多模态 STEM 数据怎么建？ 当推理需要”看图”——几何图形、科学图表、实验示意图——数据构建面临哪些独特挑战？
- 原生多模态模型的 STEM 数据应该怎么建？ 当模型从第一个 token 起就同时处理文本和图像时，STEM 数据的设计哲学需要怎样的根本转变？
这三个问题对应三代不同的技术路线。我们逐一展开。
二、第一代：纯文本大模型的 STEM 数据合成
2.1 问题空间
纯文本 STEM 数据的核心挑战是高质量推理链的稀缺性。互联网上有大量数学题目，但带有严格、正确、多步骤解题过程的数据极其有限。考试答案通常只给最终结果，论坛解答质量参差不齐，教科书版权受限。
这催生了一条清晰的技术路线：用强模型合成弱模型的训练数据，用验证机制保证正确性。
2.2 关键方法论
我按照复杂度递增的顺序梳理五种核心范式：
范式一：大规模网页筛选（Web Filtering）
代表工作：DeepSeekMath [Shao et al., 2024]
DeepSeekMath 的数据管线不依赖合成，而是从 Common Crawl 中精准筛选数学相关内容。核心技术是一个迭代式的数据选择管线：
| 步骤 | 方法 | 规模 |
|---|---|---|
| 种子集合 | OpenWebMath 等已知数学语料 | ~15B tokens |
| 分类器训练 | fastText 二分类（数学 vs 非数学） | — |
| 大规模过滤 | 对 Common Crawl 全量打分 | 数万亿 tokens → 120B tokens |
| 迭代精炼 | 用筛选结果更新分类器，多轮迭代 | 质量逐轮提升 |
这个方法的核心洞察是：互联网上的数学内容比我们想象的多得多，问题在于找到它们。DeepSeekMath 的 120B tokens 数学语料使 7B 模型在 MATH 竞赛基准上达到 51.7%——逼近当时的 GPT-4。
局限：筛选只能获取已有内容，无法覆盖特定难度分布或推理类型。
范式二：问题改写与增强（Augmentation）
代表工作：MetaMathQA [Yu et al., 2024], DART-Math [Tong et al., 2024]
核心思路是对已有的数学问题-答案对进行系统性变换，生成语义不同但结构相似的新样本：
- 数值替换：改变题目中的数字、单位
- 条件改写：修改约束条件（“至少”→“恰好”）
- 反向推导：给答案反推问题
- 难度梯度：从简单变体逐步升级到竞赛级
DART-Math 特别关注难题数据的生成。它观察到，大多数合成管线生成的数据偏简单，因为强模型更容易解决简单问题。DART-Math 通过 rejection sampling + 难度控制，将数据分布向难题端倾斜。
范式三：强模型蒸馏（Distillation）
代表工作：OpenMathInstruct-1/2 [Toshniwal et al., 2024], NuminaMath [NuminaMath Team, 2024]
这是目前最成熟的范式。用 GPT-4 或同级别模型生成解题过程，经过验证后作为训练数据：
OpenMathInstruct-2 的管线：
- 从 GSM8K + MATH 训练集取问题
- 用 Llama3.1-405B-Instruct 生成多个候选解法
- 通过答案匹配过滤正确解法
- 最终产出 14M 个问题-解法对
NuminaMath 则走了一条更广泛的路线：
- 数据来源覆盖竞赛题库、高考题、GRE/SAT、教科书
- 总规模达 860K 问题，是当时最大的公开数学数据集
- 特别标注了难度等级和知识点标签
范式四：自我进化与 MCTS（Self-Evolution）
代表工作：rStar-Math [Guan et al., 2025]
这是最前沿的范式。rStar-Math 的核心思想是不依赖强模型蒸馏，让小模型自己生产自己的训练数据：
- MCTS 搜索：用蒙特卡洛树搜索探索多种解题路径
- Step-level Reward Model：训练步骤级的奖励模型，评估每一步推理的质量
- 自我进化：用当前轮次的高质量解法更新模型，再用更强的模型生成下一轮数据
- 多轮迭代：4 轮自我进化，每轮生成数百万合成解法
关键数据：747K 数学问题 × 4 轮进化 = 数百万验证过的解法。7B 模型在 MATH 上达到 90.0%，AIME 2024 达到 53.3%——超过了当时的 o1-mini。
这个范式的深层意义在于：训练数据的生产不再需要”更强的老师”，模型可以通过搜索和验证自主提升。
范式五：形式化验证（Formal Verification）
代表工作：FoVer [Generalizable PRM, 2025], F1-Reasoner [2025], AlphaProof [DeepMind, 2025]
这是最严格的路线。核心思想是用形式化证明系统（Lean、Isabelle）或代码执行来验证推理步骤的正确性：
- FoVer：用形式逻辑和证明生成训练数据，训练的 Process Reward Model 展现跨任务迁移能力
- SYNTHETIC-1（Prime Intellect, 2025）：大规模分布式合成验证过的推理轨迹，覆盖数学、编码和科学
- AlphaProof：DeepMind 用 Lean 形式化环境 + RL，达到 IMO 银牌水平
这个方向的价值在于提供了无歧义的正确性信号。自然语言推理中”对不对”是模糊的，但形式化证明通过了就是通过了，代码跑对了就是跑对了。
2.3 验证机制的分类
STEM 数据构建的核心不是生成，而是验证。总结各方法的验证机制：
| 验证类型 | 代表 | 可靠性 | 适用范围 |
|---|---|---|---|
| 答案匹配 | OpenMathInstruct | 中 | 有确切答案的数学题 |
| 代码执行 | CodePRM | 高 | 可编程验证的问题 |
| 形式化证明 | AlphaProof, FoVer | 极高 | 可形式化的定理 |
| Process Reward Model | rStar-Math | 中-高 | 步骤级推理评估 |
| 人工审核 | NuminaMath | 高但不可扩展 | 小规模高质量场景 |
一个明确的趋势是：从结果验证走向过程验证，从近似验证走向形式化验证。这不仅提升了数据质量，也使得 STEM 数据构建的规模化成为可能。
2.4 Qwen2.5-Math 的全链路案例
Qwen2.5-Math [Qwen Team, 2024] 是一个值得单独分析的案例，因为它展示了自我改进哲学贯穿全管线的完整实践：
- 预训练：从 Qwen2.5 基座出发，在大规模数学语料上继续训练
- 合成数据：用 Qwen2-Math 的中间版本自生成推理链
- 双范式推理：同时支持 Chain-of-Thought 和 Tool-Integrated Reasoning（TIR，即在推理过程中调用 Python 执行计算）
- Reward Model：训练专门的数学 RM（206K→增强版），用于 rejection sampling 和 RLHF
- 中英双语：数据覆盖中英双语数学问题
TIR 范式特别值得关注——它让模型在推理过程中”写代码验证中间步骤”，本质上把代码执行验证内嵌到了推理过程本身。
三、第二代：多模态 STEM 数据构建
3.1 新的维度：视觉信息
STEM 推理不只是文字游戏。几何题需要看图，物理题需要理解力学示意图，化学题需要识别分子结构，数据分析需要读懂图表。这些场景中，视觉信息不是辅助，而是推理的必要输入。
多模态 STEM 数据构建面临三个独特挑战：
- 视觉编码的精度要求极高：数学图表中一个角的标注、一条辅助线的位置差异，直接影响解题路径。这与”理解一张猫的照片”的精度要求完全不同。
- 视觉-文本对齐必须精确：图中的点 A 必须准确对应文字中的”点 A”，图表中的数据点必须与描述匹配。
- 构建成本极高：手动绘制数学图表并编写对应问题，单条数据的成本是纯文本数据的 10-100 倍。
3.2 关键方法论
方法一：自动几何图表生成引擎
代表工作：MAVIS [Zhang et al., ICLR 2025], Geo170K [Gao et al., 2023]
MAVIS 是这个方向最完整的工作。它构建了一个自动数据引擎，从代码到图表到问答一条龙生成：
图形描述代码（如 Matplotlib/TikZ）
→ 渲染为图像
→ LLM 基于图像属性生成多种问题
→ 验证答案正确性MAVIS 的数据引擎产出了两类数据：
- MAVIS-Instruct-Geometry：平面几何图形 + 推理问答
- MAVIS-Instruct-Function：函数图像 + 性质分析问答
核心设计决策：
- 图形由参数化代码生成（而非手绘），保证几何精度
- 每张图配多个难度梯度的问题
- 视觉编码器（ViT）在数学图表数据上专门微调，提升对线条、角度、标注的感知精度
Geo170K 走了类似路线，专注于几何定理证明场景，通过 GeoGebra 等工具自动生成几何构图。
方法二：科学图表理解数据集
代表工作：SciGraphQA [Li et al., 2023], MMC-Instruction [Liu et al., NAACL 2024]
科学论文中充满了柱状图、折线图、散点图、热力图等可视化。SciGraphQA 的方法：
- 从 arXiv 论文中提取所有图表及其 caption
- 用 GPT-4 基于 caption + 论文上下文生成多轮 QA
- 最终产出 295K 多轮对话样本，是 ChartVQA 的 13 倍
MMC-Instruction（600K 样本）进一步扩展了任务类型：
- 图表理解：识别图表类型、读取数据点
- 图表推理：比较趋势、计算变化率
- 图表转文本：生成图表的自然语言描述
方法三：多模态科学问答
代表工作：ScienceQA [Lu et al., NeurIPS 2022], SceMQA [Liang et al., ACL 2024], MATH-Vision [Wang et al., NeurIPS 2024]
这类数据集来自真实教育场景：
| 数据集 | 规模 | 学科 | 特点 |
|---|---|---|---|
| ScienceQA | 21K | 自然/语言/社会科学 | 多模态选择题 + 思维链标注 |
| SceMQA | 数千 | 物理/化学/生物/数学 | 大学入学考试级别 |
| MATH-Vision | 3K | 数学 | 视觉数学推理，16 个子领域 |
| MV-MATH | 2K | 数学 | 多图推理，11 个子领域 |
ScienceQA 的开创性贡献在于为每道题标注了讲解（Lecture）和解题过程（Solution），形成了早期的多模态思维链数据。
MATH-Vision 发现了一个关键问题：现有模型在需要精确视觉理解的数学题上表现极差（GPT-4V 在 MATH-V 上仅 22.76%），说明视觉编码器对数学图表的感知精度远远不够。
方法四：多模态思维链（Multimodal CoT）
代表工作：MMFineReason [2026], MathCanvas [2025]
这是最新的方向，核心思想是在多模态推理中构建带有视觉 grounding 的步骤级思维链：
MMFineReason 的数据构建管线：
- 收集 STEM 问题、视觉谜题、游戏、复杂图表
- 对每个样本标注详细的、视觉锚定的推理轨迹
- 推理的每一步都明确指出”我在图中看到了什么”+“我据此做了什么推断”
MathCanvas 更进一步——提出了内在视觉思维链（Intrinsic Visual CoT），即模型在推理过程中不仅描述视觉观察，还能生成辅助图形来支持推理（类似人类在草稿纸上画辅助线）。
3.3 当前多模态 STEM 数据的结构性问题
尽管取得了显著进展，当前多模态 STEM 数据存在几个结构性问题：
（1）视觉多样性不足。大多数数据集的图形风格高度统一（Matplotlib 默认样式、LaTeX 渲染），缺少手绘图、黑板照片、扫描文档等真实场景变体。模型在标准化图表上表现良好，但面对噪声图像时性能骤降。
（2）学科覆盖严重不均。数学（尤其是几何和代数）占据了绝大多数资源，物理、化学、生物、工程学科的多模态推理数据极度匮乏。一个能解几何题的模型，面对电路图或有机化学反应式可能完全无能为力。
（3）推理深度有限。大多数数据的推理链在 3-5 步内结束。真实的 STEM 研究推理——比如从实验数据图表推导出新假说——需要 10-20 步甚至更长的链条，当前数据几乎不覆盖这种深度。
（4）理解-生成仍然割裂。能”看图解题”和能”画图辅助解题”是两种不同的能力。当前几乎所有多模态 STEM 数据都只训练前者。
四、第三代：原生多模态模型的 STEM 数据展望
4.1 为什么需要第三代
站点此前已有一篇详尽的原生多模态预训练数据建设调研，系统分析了 Chameleon、Emu3、InternVL3、BAGEL 等模型的通用数据管线。这里不再重复通用架构，而是聚焦一个具体问题：
当模型从第一个 token 起就在统一序列空间中同时处理文本和图像时，STEM 数据应该怎么设计？
这个问题之所以重要，是因为原生多模态范式从根本上改变了 STEM 数据的需求：
| 维度 | 传统多模态 | 原生多模态 |
|---|---|---|
| 数据单元 | 图-文配对 | 交错序列（文+图+公式+代码+…） |
| 视觉表示 | 连续特征 | 离散 tokens（或混合） |
| 训练目标 | 分别训练理解和生成 | 统一的 next-token prediction |
| STEM 推理 | 看图→文字推理 | 看图→文字推理→画辅助图→继续推理 |
| 学科融合 | 单学科单任务 | 跨学科、跨模态自由组合 |
4.2 六条设计原则
基于对前两代方法的分析以及原生多模态架构的特点，我提出原生多模态 STEM 数据的六条设计原则：
原则一：交错序列是原子单元，而非图文配对
传统做法是一张几何图配一段解题过程。在原生多模态中，一个训练样本应该是这样的：
[文本] 在三角形 ABC 中，已知 AB = 5, BC = 7, 角 B = 60°。
[图像] {三角形原始图}
[文本] 首先，我需要求 AC 的长度。利用余弦定理...
[图像] {标注了辅助线和角度的图}
[文本] AC² = AB² + BC² - 2·AB·BC·cos(B) = 25 + 49 - 2·5·7·0.5 = 39
[文本] 所以 AC = √39 ≈ 6.24
[图像] {标注了所有已知量的最终图}这不是”先看图后答题”的线性流程，而是文本和图像交替推进、互相补充的完整推理过程。
构建方法：
- 从现有的纯文本解题过程出发
- 在关键步骤自动生成/插入对应的视觉表示
- 用渲染引擎（Matplotlib、Manim、LaTeX/TikZ）保证图形精度
- 保持图文之间的严格语义对应
原则二：推理过程中的视觉生成是核心能力
原生多模态模型的独特优势是可以在推理过程中生成图像。这对 STEM 来说意义重大：
- 几何：画辅助线、标注角度
- 物理：画力学分析图、绘制运动轨迹
- 化学：渲染分子结构的变化过程
- 数据分析：根据数据绘制图表来发现模式
训练数据应该显式包含这些”推理中间产物”。这需要一种新的数据标注范式——不是标注最终答案，而是标注推理过程中每一步应该”看到”或”画出”什么。
具体做法：
- 收集专家解题的屏幕录制或草稿纸扫描
- 标注每个视觉操作的时间点和意图
- 用程序化方法大规模复现这些视觉操作
- 构建”视觉推理模板”——一种新的 prompt 格式，其中包含
[DRAW: ...]指令
原则三：形式化验证要扩展到视觉域
纯文本 STEM 数据已经有了形式化验证（Lean 证明、代码执行）。原生多模态需要把验证扩展到视觉域：
| 验证需求 | 方法 |
|---|---|
| 几何图形的正确性 | 用几何约束求解器验证图形属性 |
| 图表数据的一致性 | 对比图中数据点与文字描述的数值 |
| 物理模拟的合理性 | 用物理引擎检查运动轨迹/力的方向 |
| 化学反应的可行性 | 用化学知识库验证反应方程式 |
一个可行的管线：
生成推理 + 视觉内容 → 提取视觉中的结构化信息
→ 与文本推理步骤交叉验证
→ 标记不一致的步骤
→ 过滤或修正原则四：跨学科交错是必需的
真实的 STEM 问题很少是纯粹的”数学题”或”物理题”。一道材料科学问题可能同时涉及力学分析（物理）、晶体结构（化学）和应力计算（数学）。
原生多模态的统一序列空间天然支持这种跨学科融合。数据构建应该刻意制造跨学科交错：
- 物理+数学：从实验数据图表中提取函数关系，进行数学拟合
- 化学+生物：从分子结构推导生物功能
- 工程+物理+数学：设计问题的约束优化
数据来源建议：
- 教科书的综合章节练习题
- 科研论文的方法论部分（天然跨学科）
- 工程设计文档（包含多种图纸和计算）
- 科学竞赛的跨学科综合题（如 USABO、Science Olympiad）
原则五：难度分布要覆盖全光谱
前两代数据有一个共同问题：中等难度题目占主导，而极简单（小学水平）和极困难（研究前沿）的数据都不足。
原生多模态 STEM 数据需要刻意构建全光谱分布：
| 难度层级 | 例子 | 视觉复杂度 | 推理步骤 |
|---|---|---|---|
| L1 基础 | 识别三角形类型 | 单一简单图形 | 1-2 步 |
| L2 应用 | 求三角形面积 | 标注了数值的图形 | 3-5 步 |
| L3 推理 | 证明几何定理 | 多辅助线图形 | 5-10 步 |
| L4 竞赛 | IMO 几何题 | 复杂构造图 | 10-20 步 |
| L5 研究 | 从实验图表推导新关系 | 多图表组合 | 20+ 步 |
L5 级别的数据是最稀缺、也最有价值的。构建方法需要结合科研论文复现和专家标注。
原则六：数据配比需要动态多阶段
借鉴 InternVL3 的原生多模态预训练经验，STEM 数据的混入应该分阶段：
阶段一：基础认知（预训练早期）
- 大量简单的 STEM 视觉识别数据（识别图形、读取图表）
- 文本-公式-图形的对齐数据
- 占比：STEM 数据 5-10%
阶段二：推理建立（预训练中期）
- 中等难度的 STEM 推理数据
- 多步骤视觉推理链
- 占比：STEM 数据 15-25%
阶段三：深度推理（预训练后期/后训练）
- 高难度竞赛和研究级问题
- 跨学科综合推理
- 形式化验证过的推理链
- 占比：STEM 数据 30-50%
4.3 具体构建管线设计
综合以上六条原则，我设计一条可落地的原生多模态 STEM 数据管线：
┌─────────────────────────────────────────────────────┐
│ 原生多模态 STEM 数据管线 │
├─────────────────────────────────────────────────────┤
│ │
│ ① 种子数据收集 │
│ ├── 教科书扫描 + OCR → 结构化题库 │
│ ├── arXiv 论文图表 + 上下文提取 │
│ ├── 竞赛题库（含官方解答） │
│ └── 开源数据集（ScienceQA, MATH-V, NuminaMath...）│
│ │
│ ② 交错序列构建 │
│ ├── 纯文本解题过程 → 自动插入视觉步骤 │
│ ├── 参数化图形生成（TikZ/Matplotlib/Manim） │
│ ├── 图文交叉引用标注 │
│ └── 多学科知识链接 │
│ │
│ ③ 难度扩展与增强 │
│ ├── 条件变换（数值/约束/学科切换） │
│ ├── 视觉变体生成（风格/噪声/手绘化） │
│ ├── 推理链延伸（追问/扩展/关联） │
│ └── 反向生成（从解法生成新题） │
│ │
│ ④ 多层级验证 │
│ ├── 答案正确性（精确匹配/代码执行） │
│ ├── 视觉一致性（图形属性 vs 文字描述） │
│ ├── 推理过程（Step-level PRM 评分） │
│ └── 形式化验证（Lean/SymPy/物理引擎） │
│ │
│ ⑤ Token 化与序列编排 │
│ ├── 文本 → BPE tokens │
│ ├── 图像 → Visual tokens（离散化） │
│ ├── 公式 → LaTeX tokens │
│ ├── 代码 → Code tokens │
│ └── 交错排列，保持因果顺序 │
│ │
│ ⑥ 质量控制与配比优化 │
│ ├── 去重（语义级，跨模态） │
│ ├── 难度分布校准 │
│ ├── 学科均衡性检查 │
│ └── 与通用数据的配比动态调整 │
│ │
└─────────────────────────────────────────────────────┘4.4 重点突破方向
如果我要在这条管线中选三个最值得投入的方向，我会选：
第一，推理中视觉生成的数据构建。这是原生多模态相比传统多模态的核心差异化能力。目前几乎没有公开的”推理过程中包含视觉生成步骤”的 STEM 数据集。谁先构建出高质量的此类数据，谁就能在这个能力维度上领先。
第二，跨模态形式化验证。纯文本的形式化验证已经被证明极其有效（AlphaProof、FoVer）。将其扩展到”验证图形是否与推理一致”是一个高价值但尚未被充分探索的方向。
第三，科学论文的多模态推理链提取。arXiv 上数百万篇论文是最高质量的 STEM 推理素材。将论文中的”图表-分析-结论”链条结构化为训练数据，是一条高杠杆的数据构建路线。
五、开放问题
5.1 Visual Tokenizer 对 STEM 精度的影响
当前的 Visual Tokenizer（VQ-VAE、MAGVIT-v2 等）在自然图像上表现良好，但对 STEM 图形的重建精度如何？一个关键的数学符号、一条细线的位置偏差，都可能导致推理错误。这个问题目前缺乏系统性的研究。
5.2 合成数据的天花板在哪里
纯文本数学推理的合成数据已经展现出惊人的效果（rStar-Math 用 7B 模型达到 90% MATH）。多模态 STEM 合成数据能否复制这种成功？还是说视觉信息的复杂性会带来本质性的困难？
5.3 人类专家标注的不可替代性
在 L5（研究级）难度上，合成方法可能难以覆盖。科学发现过程中的视觉直觉——从图表中”看出”异常模式、从实验照片中识别新现象——这类能力的训练数据可能只能来自人类专家的标注。如何高效获取这类数据是一个现实挑战。
5.4 评估基准的缺失
我们还缺少一个全面的原生多模态 STEM 基准——它需要同时评估：
- 视觉 STEM 理解（看图解题）
- 视觉 STEM 生成（画图辅助推理）
- 跨学科推理
- 多步骤深度推理
- 形式化正确性
MATH-Vision 和 MV-MATH 只覆盖了其中一部分。
六、总结
STEM 数据构建正在经历三代演进：
第一代（纯文本） 解决了”如何大规模生产正确的推理链”这个问题，核心方法从网页筛选发展到形式化验证，关键突破是 self-play + MCTS + step-level verification。
第二代（多模态） 解决了”如何让模型看图推理”这个问题，核心方法从手工标注发展到自动数据引擎，关键突破是参数化图形生成 + 多模态 CoT 标注。但理解和生成仍然割裂。
第三代（原生多模态） 需要解决的是”如何让模型在推理过程中自由地在文本、图像、公式、代码之间切换”。这需要交错序列数据、推理中视觉生成标注、跨模态形式化验证——这些方法论目前大多处于概念阶段或早期探索阶段。
从数据构建的角度看，第三代的核心困难不在于规模（合成方法可以解决），而在于验证的复杂性——如何确保一个包含文本推理、图形变换、公式推导和代码执行的多模态推理链在每个环节都是正确的？这是当前最值得投入的技术问题。
参考文献索引
| 论文 | 方向 | 关键贡献 |
|---|---|---|
| DeepSeekMath [Shao+ 2024] | 数学预训练 | 120B tokens 网页数学语料筛选 |
| OpenMathInstruct-1/2 [Toshniwal+ 2024] | 数学 SFT | 14M 合成数学问答 |
| NuminaMath [2024] | 数学数据集 | 860K 多源数学问题 |
| MetaMathQA [Yu+ 2024] | 数学增强 | 问题改写增强 |
| DART-Math [Tong+ 2024] | 数学增强 | 难题定向采样 |
| rStar-Math [Guan+ 2025] | 自我进化 | MCTS + Step-level PRM |
| Qwen2.5-Math [Qwen 2024] | 全链路 | 自我改进贯穿全管线 |
| FoVer [2025] | 形式化验证 | 形式化训练的 PRM 跨任务迁移 |
| SYNTHETIC-1 [Prime Intellect 2025] | 分布式合成 | 大规模验证推理轨迹 |
| AlphaProof [DeepMind 2025] | 形式化推理 | IMO 银牌水平 |
| MAVIS [Zhang+ ICLR 2025] | 视觉数学 | 自动数学图表生成引擎 |
| SciGraphQA [Li+ 2023] | 科学图表 | 295K 学术图表 QA |
| MMC-Instruction [Liu+ 2024] | 图表理解 | 600K 多任务图表指令 |
| ScienceQA [Lu+ NeurIPS 2022] | 科学 QA | 21K 多模态科学问答 |
| SceMQA [Liang+ ACL 2024] | 科学考试 | 大学入学级科学 QA |
| MATH-Vision [Wang+ NeurIPS 2024] | 视觉数学 | 3K 视觉数学推理基准 |
| MV-MATH [Wang+ CVPR 2025] | 多图数学 | 多视觉上下文数学推理 |
| MMFineReason [2026] | 多模态 CoT | 视觉锚定的细粒度推理 |
| MathCanvas [2025] | 内在视觉 CoT | 推理中生成辅助图形 |
| InternVL3 [Zhu+ 2025] | 原生多模态 | 原生多模态预训练范式 |
| Qwen2.5-Omni [Qwen 2025] | 全模态 | 端到端全模态模型 |
| Mogao [2025] | Omni 模型 | 交错图文基础模型 |
| CoMM [2024] | 交错数据 | 连贯交错图文数据集 |