综合调研
视觉大模型 STEM 能力的预训练数据优化：业界方案全景与数据工程路线图
从预训练数据角度系统分析如何提升 VLM 的 STEM 推理能力。覆盖 InfiMM-WebMath-40B、Multimodal Textbook、InternVL3 原生预训练、Vision-R1 冷启动、Math-LLaVA Bootstrap、Socratic-Geo 合成等代表性方案，提炼出六条数据工程路线和四个未充分开发的数据金矿。
视觉大模型 STEM 预训练数据 多模态推理 数据工程 VLM
一、问题定义：视觉大模型的 STEM 瓶颈到底出在哪
截至 2026 年 4 月，MMMU 排行榜上最强闭源模型（GPT-5.4 Pro）在 MMMU-Pro 上达到约 94%，但开源模型最高水平（InternVL3-78B MMMU 72.2）与之仍有显著差距。更值得关注的是细粒度分析揭示的结构性缺陷：
| 维度 | 现象 | 推测根因 |
|---|---|---|
| 化学结构图 | 所有模型（含 GPT-4V）接近随机猜测 | 预训练数据中化学结构式的出现频率极低，且缺乏结构化标注 |
| 几何图形 | 得分极低，显著落后于自然图片类任务 | 几何推理需要精确的空间关系提取，而网页爬取图片中几何图极少 |
| 数学符号与公式推导 | 模型对 LaTeX 渲染图的理解弱于对原始 LaTeX 文本的理解 | 视觉编码器未充分学习公式的结构化语义 |
| 专家级难题 | 闭源与开源模型差距几乎消失（均表现差） | 所有模型都缺乏深层领域知识的预训练注入 |
| 图表推理 | 模型能”读”图但不会”用”图推理 | 预训练数据中图表多为描述性配对，缺乏基于图表的多步推理样本 |
核心判断：视觉大模型的 STEM 瓶颈本质上是一个数据分布问题——不是模型能力不够，而是预训练阶段看到的 STEM 视觉材料太少、太浅、关联太松。
二、业界代表性方案深度解析
2.1 InfiMM-WebMath-40B：首个大规模多模态数学预训练数据集
来源：字节跳动 + 中科院，2024 年 9 月发布，CC BY 4.0 开源
核心数据：
| 指标 | 数值 |
|---|---|
| 来源 | CommonCrawl |
| 网页数 | 2400 万 |
| 关联图片 URL | 8500 万 |
| 文本 Token | 40B |
| 格式 | 图文交错文档 |
管线核心：
- 从 CommonCrawl 中按数学相关性筛选网页
- 保留图片与文本的自然排布关系，构建 interleaved image-text 文档
- 多阶段质量过滤：数学内容识别 → 图文关联性验证 → 去重去噪
关键发现：
- 1.3B 模型仅用 40B token（DeepSeekMath 的 1/3），即达到 DeepSeekMath-1.3B 可比性能
- 多模态设置下，在 MathVerse 和 We-Math 上刷新开源 SOTA
数据工程启示：
- 数据质量 >> 数据规模。用 1/3 的量达到同等效果，说明精准的领域过滤比无差别堆量重要得多
- CommonCrawl 中隐藏着大量未被挖掘的数学图文对，关键在过滤管线的设计
- 图文交错格式是关键——不是简单的 image-caption pair，而是保留上下文的完整文档
2.2 Multimodal Textbook（2.5 Years in Class）：教学视频→图文语料
来源：DAMO-NLP-SG，2025 年 1 月发布，ICCV 2025
核心数据：
| 指标 | 数值 |
|---|---|
| 来源 | YouTube 教学视频 |
| 视频总时长 | 超过 2.5 年（连续播放） |
| 课时总数 | ~22,000 课时 |
| 关键帧 | 650 万 |
| 文本 Token | 7.5 亿 |
管线核心：
- LLM 生成分类体系（taxonomy），系统性采集覆盖各 STEM 学科的教学视频
- 从视频中渐进式提取三类信息：视觉知识（关键帧）、音频知识（ASR）、文本知识（OCR 板书/幻灯片）
- 基于时间顺序组织为图文交错格式，保留教学逻辑和时序连贯性
为什么比网页数据好：
| 维度 | 网页爬取数据 | 教学视频数据 |
|---|---|---|
| 知识密度 | 低（噪声大） | 高（每分钟都在教学） |
| 图文关联 | 松散（图片常是装饰） | 紧密（关键帧与讲解时间对齐） |
| 逻辑连贯 | 无（不同网页间无关联） | 强（课程有天然的教学逻辑线） |
| 图片间连贯性 | 差 | 好（板书逐步推导，图片是推理链的一部分） |
关键结果：
- ScienceQA 和 MathVista 上表现优异
- 在 few-shot 场景下，模型能有效利用 interleaved context 中的视觉线索
数据工程启示：
- 教学视频是 STEM 预训练数据的天然金矿——知识密度高、图文对齐质量好、覆盖面广
- 但 7.5 亿 token 的规模相对较小，需要与其他数据源混合使用
- 视频→图文的转化管线可以推广到更多 STEM 教育资源（MOOC、实验演示视频等）
2.3 InternVL3：原生多模态预训练范式
来源：上海 AI Lab + 商汤科技，2025 年 4 月，开源
核心创新：
- 摒弃”先训纯文本 LLM，再适配视觉”的两阶段流程
- 在单一预训练阶段联合训练多模态数据和纯文本语料
- 提出 V2PE（Variable Visual Position Encoding）支持扩展的多模态上下文
STEM 相关成绩：
- MMMU 72.2（开源 SOTA）
- 与 GPT-4o、Claude 3.5 Sonnet 高度竞争
训练方法全景：
| 阶段 | 方法 |
|---|---|
| 预训练 | 原生多模态联合训练（text + multimodal interleaved） |
| 对齐 | SFT（监督微调） |
| 偏好优化 | MPO（Mixed Preference Optimization） |
| 推理增强 | Test-Time Scaling |
数据工程启示：
- 原生多模态预训练是趋势——STEM 数据需要从预训练阶段就注入，而不是后期微调弥补
- 保持纯语言能力的同时注入多模态能力，数据配比（text vs. multimodal ratio）是关键超参数
- 这意味着 STEM 视觉数据的质量要足够高，否则会稀释语言能力
2.4 Vision-R1：多模态推理的冷启动策略
来源：ICLR 2026，2025 年 3 月首次提交
核心方法：通过精心构建的冷启动数据 + 渐进式 RL，在多模态场景中激发类 DeepSeek-R1 的推理能力
数据构建：
| 阶段 | 数据集 | 规模 |
|---|---|---|
| 冷启动 | Vision-R1-cold（多模态 CoT） | 200K 条 |
| RL 训练 | 多模态数学数据集 | 10K 条 |
冷启动数据构建方法（无人工标注）：
- 模态桥接：用现有 MLLM 将视觉信息转为文本描述
- 推理生成：用 DeepSeek-R1 在桥接文本上生成 CoT 推理链
- 数据过滤：质量筛选确保推理链正确
关键结果：
- Vision-R1-7B 在 MathVista 达 73.5%，仅比 OpenAI O1 低 0.4%
- 仅 200K + 10K 的数据量，效率极高
数据工程启示：
- 少量高质量推理数据的威力远超大量低质量数据
- “模态桥接”是一个实用的技巧——先把视觉问题转化为文本，利用已有的强推理模型生成 CoT，再映射回多模态
- 渐进式思维抑制训练（PTST）解决了冷启动后的过度推理问题，这启示我们：推理数据不能只追求”推理越多越好”，要有节制
2.5 Math-LLaVA / MathV360K：多模态数学数据的 Bootstrap
来源：电子科大、同济、新加坡国立，2024 年
核心方法：
- 从 24 个已有数学数据集收集 40K 高质量图像 + QA 对
- 用 GPT-4V 辅助合成 320K 新 QA 对
- 共构成 MathV360K 数据集
关键结果：
- LLaVA-1.5 经 MathV360K 微调后，数学推理能力提升 19 个点
- 在 GPS 子集上达到 57.7%，优于专门在 17 万几何数据上训练的 G-LLaVA-13B
数据工程启示：
- 数据多样性比数据量更重要——覆盖 24 个数据集的多样性是关键
- GPT-4V 辅助合成是可行的，但成本高、依赖闭源模型
- 40K 种子 + 320K 合成的比例（~1:8）提供了一个参考点
2.6 Socratic-Geo：多智能体驱动的几何推理数据合成
来源：arXiv 2602.03414，2026 年 2 月
核心方法：三个智能体形成闭环——
| 智能体 | 角色 | 方法 |
|---|---|---|
| Teacher | 数据生成 | 生成参数化 Python 脚本程序化绘制几何图形 |
| Solver | 推理优化 | 偏好学习优化推理能力，失败路径反馈 Teacher |
| Generator | 图像蒸馏 | 在”图像-代码-指令”三元组上学习 |
质量控制：
- Reflect 验证：确保题目可解性
- RePI 验证：确保图像视觉正确性
- 失败驱动增强：模型的弱点直接指导下一轮数据生成
关键数据：
- 种子问题仅 108 个
- 用基线方法 1/4 的数据量在六个基准上平均超越 2.43 分
- Socratic-Generator 在 GenExam 上达 42.4%，超越 Seedream-4.0
数据工程启示：
- 程序化生成保证精确性——这是几何/图表等结构化视觉数据的最佳路线
- 动态耦合 >> 静态数据集——数据生成与模型训练形成反馈闭环
- 108 个种子就能启动整个系统，说明好的框架设计比堆种子数据重要得多
三、六条数据工程路线的系统对比
| 路线 | 代表方案 | 数据来源 | 规模 | STEM 覆盖 | 成本 | 适用阶段 |
|---|---|---|---|---|---|---|
| Web 挖掘 | InfiMM-WebMath-40B | CommonCrawl | 40B tokens | 数学为主 | 低 | 预训练 |
| 视频转化 | Multimodal Textbook | YouTube 教学视频 | 750M tokens | 广泛 STEM | 中 | 预训练 |
| 原生联合 | InternVL3 | 混合多源 | 万亿级 | 全领域 | 高 | 预训练 |
| 推理蒸馏 | Vision-R1 | 模型生成 CoT | 200K 条 | 数学为主 | 中 | 后训练冷启动 |
| 种子 Bootstrap | Math-LLaVA / MathV360K | 已有数据集 + GPT-4V 合成 | 360K 条 | 数学多学科 | 高（API 成本） | 微调 |
| 程序化合成 | Socratic-Geo | 参数化脚本 + 多 Agent | 极少种子 | 几何 | 低 | 后训练 |
关键洞察：没有单一路线能覆盖全部需求。实际操作中需要分层组合：
预训练层（大量 + 多样）
├── Web 挖掘 STEM 图文（InfiMM 路线）
├── 教学视频转化（Textbook 路线）
└── 科学文献 PDF → 图文交错文档
中训练层（中量 + 高质）
├── 原生多模态联合训练混合
└── 领域特化 continual pretraining
后训练层（少量 + 精准）
├── 推理蒸馏冷启动（Vision-R1 路线）
├── 程序化合成（Socratic 路线）
└── 种子 Bootstrap（MathV360K 路线）四、STEM 各子领域的数据缺口分析
4.1 数学
| 方面 | 现状 | 缺口 |
|---|---|---|
| 代数/算术 | 数据相对充足（文本数学数据丰富） | 视觉化表达（图表中的方程）较少 |
| 几何 | Socratic-Geo 开始填补 | 三维几何、立体图形的数据几乎为零 |
| 统计/概率 | 图表理解数据在增长 | 基于图表的多步统计推理数据稀缺 |
| 高等数学 | 极度匮乏 | 积分、微分的手写推导过程几乎无数据 |
4.2 物理
| 方面 | 现状 | 缺口 |
|---|---|---|
| 力学示意图 | PhysicsArena 等评测基准开始覆盖 | 预训练数据几乎为零 |
| 电路图 | 零星出现 | 电路图→电路分析的完整推理链缺失 |
| 实验装置图 | 极度匮乏 | 模型无法理解实验操作步骤 |
| 物理仿真 | 无 | 运动轨迹、力场可视化等动态数据无来源 |
4.3 化学
| 方面 | 现状 | 缺口 |
|---|---|---|
| 分子结构式 | MaCBench 揭示模型表现接近随机 | SMILES/结构式图像对的预训练数据极度匮乏 |
| 有机反应机理 | 几乎为零 | 反应箭头推动的多步推理数据不存在 |
| 光谱解析 | MolQuest 开始探索 | NMR/IR/MS 光谱→结构推断的训练数据待构建 |
4.4 生物
| 方面 | 现状 | 缺口 |
|---|---|---|
| 细胞/组织图 | ScienceQA 覆盖基础级别 | 显微镜图像→专业判断的训练数据缺乏 |
| 生态系统图 | AI2D 有少量覆盖 | 复杂食物网、能量流的推理数据不足 |
| 基因序列/蛋白质结构 | 专业模型存在但 VLM 未覆盖 | 与通用 VLM 的预训练数据体系完全脱节 |
五、四个未充分开发的数据金矿
5.1 arXiv 科学论文的 Figure-Caption 对
arXiv 上有约 300 万篇论文（推测值），每篇平均 5-10 张图。这些图：
- 涵盖 STEM 全领域
- 有精确的 Caption 描述
- 许多图包含多步推理的视觉呈现（实验结果对比、算法流程、架构图）
- LaTeX 源码可用，可以提取图表与正文的交叉引用关系
可操作路径：
- 从 arXiv Bulk Data Access 获取 LaTeX 源码 + PDF
- 提取所有
\includegraphics及其关联的\caption和正文引用段落 - 构建
(figure, caption, context_paragraph, paper_metadata)四元组 - 按学科分类过滤和质量评估
预估规模：1500 万+ 高质量 figure-caption 对
5.2 STEM 教科书的系统化解析
不同于 Multimodal Textbook 的视频路线，直接从 PDF/EPUB 教科书 中提取：
- 公式推导序列（LaTeX + 渲染图的配对）
- 例题解答过程（题目图 + 步骤分解）
- 章节练习题（难度分层天然存在）
OpenStax 等开放教科书提供了数百本 STEM 教材的结构化源文件。
可操作路径：
- 收集 OpenStax、MIT OCW、Khan Academy 等开放教育资源
- 用 olmOCR 等工具提取 PDF 中的图文布局
- 基于章节结构构建从简单到复杂的难度梯度数据
5.3 科学实验的视频记录
实验操作视频（化学实验、物理实验演示、生物解剖等）包含：
- 操作序列：手→仪器→试剂的动作链
- 现象观察：颜色变化、气泡产生、指针偏转
- 因果关系：操作→现象→原理
这类数据与站内已有的 video-tutorial-step-annotation-data 提案互补，但聚焦于 STEM 实验 而非一般性教程。
5.4 程序化可视化代码与渲染结果的配对
受 Socratic-Geo 启发，但扩展到更广的领域：
- Matplotlib/Plotly 代码 → 图表图像：可以生成无限量的图表理解数据
- TikZ/Asymptote 代码 → 几何/物理图：精确的结构化视觉数据
- Chemistry 库（RDKit）代码 → 分子结构图：SMILES → 分子图的双向训练
- 3D 渲染代码 → 立体图形：OpenGL/Three.js 代码与渲染结果配对
这是一条成本极低、规模可控、质量可保证的路线，因为代码即标注。
六、数据配比与训练策略建议
6.1 预训练阶段的 STEM 数据配比
基于现有研究（推测性建议，需实验验证）：
| 数据类型 | 推荐占比 | 说明 |
|---|---|---|
| 通用文本 | 50-60% | 保持语言能力基础 |
| 通用图文对 | 15-20% | 自然图片理解 |
| STEM 图文交错 | 10-15% | InfiMM + Textbook + arXiv 混合 |
| STEM 推理序列 | 5-8% | 公式推导、解题步骤的图文交替 |
| 文档/OCR 数据 | 5-8% | PDF、教科书、论文排版理解 |
6.2 中训练阶段的领域注入
- Continual Pretraining on STEM：在预训练基础上，用 STEM 富集语料继续训练 1-2 个 epoch
- 参考 On Domain-Adaptive Post-Training for MLLMs（EMNLP 2025 Findings）的方法论
- 关键：避免灾难性遗忘，需要混入一定比例的通用数据作为”回放”
6.3 后训练阶段的能力激发
分三步走：
- 冷启动（Vision-R1 路线）：200K 级多模态 CoT 数据，建立基础推理能力
- Bootstrap 扩展（MathV360K 路线）：用种子数据 + 模型合成扩展覆盖面
- RL 精炼（Socratic 路线）：动态耦合的数据生成与能力优化闭环
七、与站内已有工作的关系
| 站内已有工作 | 与本报告的关系 |
|---|---|
stem-data-construction-survey.md | 侧重文本 STEM 的三代演进，本报告聚焦视觉STEM 的预训练数据 |
native-multimodal-pretraining-data-landscape.md | 覆盖全面多模态预训练数据格局，本报告是其 STEM 子领域的纵深展开 |
science-figure-qa-distillation-data.md | 提出 arXiv 科学图表蒸馏方案，本报告验证了该方向的价值并补充了更多路线 |
interleaved-cot-multimodal-midtraining-data-proposal.md | 提出交错思维链中训练数据，本报告中的 Vision-R1 冷启动策略是该方向的具体验证 |
beyond-language-modeling-multimodal-pretraining.md | Meta 的多模态预训练定律，本报告的配比建议参考了该工作的 insight |
multimodal-pretrain-kimi-qwen-seed-comparison.md | 五大技术报告对比，本报告从中提取了 STEM 数据策略的工业实践 |
code-diagram-alignment-multimodal-data.md | 代码-图表对齐方案，与本报告的”程序化可视化配对”路线互补 |
八、结论与行动建议
8.1 三个核心判断
-
视觉 STEM 是预训练数据的蓝海。当前所有模型在化学结构、几何图形、物理示意图上的表现都接近随机，说明预训练数据中这些内容几乎不存在。谁先填补这个空白，谁就获得显著优势。
-
数据质量比规模重要一个数量级。InfiMM 用 1/3 数据量追平 DeepSeekMath，Socratic-Geo 用 1/4 数据量超越基线，Vision-R1 用 210K 数据接近 O1——这些证据一致指向同一个结论。
-
程序化合成是 STEM 视觉数据的最优路线。不同于自然图片的生成，STEM 图形（几何、化学结构、图表、电路图）本质上是符号化、规则化的，程序化生成能保证精确性、可控性和无限可扩展性。
8.2 推荐优先级排序
| 优先级 | 行动 | 预期收益 | 时间投入 |
|---|---|---|---|
| P0 | 构建 arXiv Figure-Caption 提取管线 | 千万级高质量 STEM 图文对 | 2-3 周 |
| P0 | 搭建程序化 STEM 可视化合成框架（Matplotlib/TikZ/RDKit） | 无限量精确标注的 STEM 图文对 | 3-4 周 |
| P1 | 教学视频→图文语料管线（参考 Multimodal Textbook） | 数十亿 token 的 STEM 教学语料 | 4-6 周 |
| P1 | Vision-R1 风格的多模态 CoT 冷启动数据集 | 200K 级高质量推理数据 | 2-3 周 |
| P2 | STEM 教科书系统化解析（OpenStax 等） | 百万级结构化教学数据 | 6-8 周 |
| P2 | Socratic 式动态数据生成闭环 | 持续改进的数据飞轮 | 8-12 周 |
附录：核心参考文献
| 简称 | 全称 | 来源 |
|---|---|---|
| InfiMM-WebMath-40B | Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning | arXiv 2409.12568, EMNLP 2025 |
| Multimodal Textbook | 2.5 Years in Class: A Multimodal Textbook for Vision-Language Pretraining | arXiv 2501.00958, ICCV 2025 |
| InternVL3 | Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models | arXiv 2504.10479 |
| Vision-R1 | Incentivizing Reasoning Capability in Multimodal Large Language Models | arXiv 2503.06749, ICLR 2026 |
| Math-LLaVA | Bootstrapping Mathematical Reasoning for Multimodal LLMs | EMNLP 2024 Findings |
| Socratic-Geo | Synthetic Data Generation and Geometric Reasoning via Multi-Agent Interaction | arXiv 2602.03414 |
| MMMU | A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark | CVPR 2024 |
| MMMU-Pro | A More Robust Multi-discipline Multimodal Understanding Benchmark | arXiv 2409.02813 |
| BAGEL | Emerging Properties in Unified Multimodal Pretraining | arXiv 2505.14683 |
| SciGram | A Large-Scale Dataset for Scientific Diagram Understanding | Submitted to ICLR 2026 |
| MathVision | Measuring Multimodal Mathematical Reasoning with the MATH-Vision Dataset | NeurIPS 2024 |
| MV-MATH | Evaluating Multimodal Math Reasoning in Multi-Visual Contexts | CVPR 2025 |
| ChartGen | Scaling Chart Understanding Via Code-Guided Synthetic Chart Data | arXiv 2507.19492 |
| PhysicsArena | The First Multimodal Physics Reasoning Benchmark | EMNLP 2025 |
| MaCBench | Probing the Limitations of Multimodal Language Models for Chemistry | Nature Computational Science 2025 |
附录 B：STEM 多模态开源数据集全景
以下按用途分类整理了与视觉大模型 STEM 能力相关的所有主要开源数据集，含发布时间、规模、许可证、是否建议利用及适用阶段。
B.1 预训练级数据集（大规模，适合预训练/中训练注入）
| 数据集 | 发布时间 | 发布机构 | 规模 | STEM 覆盖 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| InfiMM-WebMath-40B | 2024.09 | 字节跳动 + 中科院 | 24M 网页 / 85M 图片 / 40B tokens | 数学 | 图文交错文档 | CC BY 4.0 | Infi-MM/InfiMM-WebMath-40B | ⭐⭐⭐ 强烈推荐 | 首个大规模多模态数学预训练集，1/3 数据量追平 DeepSeekMath |
| Multimodal Textbook | 2025.01 | DAMO-NLP-SG（阿里达摩院） | 6.5M 图片 / 0.8B tokens / 22K 课时 | 广泛 STEM | 图文交错（视频→文档） | Apache 2.0 | DAMO-NLP-SG/multimodal_textbook | ⭐⭐⭐ 强烈推荐 | YouTube 教学视频转化，知识密度极高，ICCV 2025 |
| ArXivCap | 2024.03 | Multimodal ArXiv 团队 | 6.4M 图片 / 3.9M captions / 572K 论文 | 全 STEM | Figure-Caption 对 | CC BY 4.0 | MMInstruction/ArXivCap | ⭐⭐⭐ 强烈推荐 | arXiv 论文图表提取，覆盖全科学领域，正是本报告 §5.1 建议的方向 |
| OpenWebMath | 2023.10 | Together AI | 14.7B tokens | 数学（纯文本） | 纯文本 | ODC-By 1.0 | open-web-math/open-web-math | ⭐⭐ 推荐（补充） | 纯文本数学预训练语料，与 InfiMM 互补（无图） |
| Proof-Pile-2 | 2023.10 | EleutherAI | 55B tokens | 数学（纯文本） | 纯文本 | Mix | EleutherAI/proof-pile-2 | ⭐⭐ 推荐（补充） | 数学证明文本，arXiv + Stack + Code 混合 |
| The Pile (ArXiv subset) | 2020.12 | EleutherAI | ~56GB 文本 | 全 STEM | 纯文本 | MIT | EleutherAI/pile | ⭐ 可参考 | 经典预训练语料的 arXiv 子集，无图片 |
B.2 微调/后训练级数据集（中小规模，适合 SFT 或 Bootstrap）
数学推理
| 数据集 | 发布时间 | 发布机构 | 规模 | 子领域 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| MathV360K | 2024.06 | 电子科大/同济/新加坡国立 | 360K QA 对 / 40K 图片 | 数学多学科 | Image + QA | CC BY 4.0 | Zhiqiang007/MathV360K | ⭐⭐⭐ 强烈推荐 | 24 个数据集汇合 + GPT-4V 扩增，多样性极佳 |
| Vision-R1-cold | 2025.03 | 小红书/华东师大 | 200K 条 | 多模态推理 | Image + CoT | CC BY-NC-SA 4.0 | Osilly/Vision-R1-cold | ⭐⭐⭐ 强烈推荐 | 多模态 CoT 冷启动数据，210K 即达 O1 水平 |
| Geo170K | 2023.12 | G-LLaVA 团队 | 170K QA 对 | 平面几何 | Image + QA | Apache 2.0 | Luckyjhg/Geo170K | ⭐⭐ 推荐 | GPT-4 生成的几何 QA，G-LLaVA 训练集 |
| MAVIS-Instruct | 2024.07 | MAVIS 团队 | 588K 条 | 数学视觉 | Image + Instruction | CC BY 4.0 | — | ⭐⭐ 推荐 | 包含几何/函数/图表三大视觉数学类型 |
| GeoQA+ | 2022 | 中科院 | 12K+ 问题 | 平面几何 | Image + QA + Program | Apache 2.0 | — | ⭐ 可参考 | 自动几何求解，含解题程序标注 |
| UniGeo | 2022 | 中科院 | 14.5K 问题 | 几何（计算+证明） | Image + QA + Program | Apache 2.0 | — | ⭐ 可参考 | 统一几何计算和证明推理 |
| CMM-Math | 2024.09 | 多机构合作 | 28K 问题 | 中文数学 | Image + QA | CC BY 4.0 | — | ⭐ 可参考 | 首个中文多模态数学数据集 |
科学综合
| 数据集 | 发布时间 | 发布机构 | 规模 | 子领域 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| ScienceQA | 2022.09 | UCLA | 21K 问题 | 自然/社会/语言科学 | Image + QA + Explanation | CC BY-NC-SA 4.0 | derek-thomas/ScienceQA | ⭐⭐ 推荐 | 多模态科学 QA 开创之作，含讲解标注 |
| ArXivQA | 2024.03 | Multimodal ArXiv | 100K QA | 全 STEM | Figure + QA | CC BY 4.0 | MMInstruction/ArXivQA | ⭐⭐ 推荐 | 基于 ArXivCap 构建的 QA 对 |
| MMSci | 2024.07 | 多机构 | 多学科 | 研究生级科学 | Figure + Caption + QA | — | — | ⭐ 可参考 | 研究生水平多学科多模态科学 |
| AI2D | 2016 | AI2 | 5K 图 + 15K QA | 科学图解 | Diagram + QA | Apache 2.0 | allenai/ai2_diagrams | ⭐ 可参考（经典） | 科学图解理解经典数据集 |
| TQA | 2017 | AI2 | 26K QA | 中学科学 | Textbook + Diagram + QA | — | — | ⚪ 较旧 | 教科书 QA，规模较小 |
B.3 图表理解数据集
| 数据集 | 发布时间 | 发布机构 | 规模 | 图表类型 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| ChartQA | 2022.03 | U of Victoria | 32K QA | 真实图表 | Chart + QA | — | HuggingFaceM4/ChartQA | ⭐⭐ 推荐 | 图表视觉+逻辑推理，含人工标注 |
| PlotQA | 2020 | IISc Bangalore | 224K 图 / 8.1M QA | 科学论文图表 | Plot + QA | MIT | — | ⭐⭐ 推荐 | 超大规模图表 QA |
| ChartGen | 2025 | 多机构 | 合成规模可控 | 代码生成图表 | Code + Chart + QA | — | — | ⭐⭐ 推荐 | 代码→图表的合成方法，与 §5.4 路线一致 |
| FigureQA | 2018 | Maluuba/微软 | 1M+ QA | 合成图表 | Chart + Binary QA | — | — | ⚪ 较旧 | 二值 QA，任务形式简单 |
| DVQA | 2018 | Georgia Tech | 300K 图 / 3.5M QA | 合成条形图 | Bar Chart + QA | — | — | ⚪ 较旧 | 合成条形图 QA |
| TabMWP | 2023 | UCLA | 38K 问题 | 表格 | Table + Math QA | CC BY 4.0 | — | ⭐ 可参考 | 表格→数学推理 |
B.4 化学/分子数据集
| 数据集 | 发布时间 | 发布机构 | 规模 | 子领域 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| MaCBench | 2025 | EPFL (jablonkagroup) | 1100+ 问题 | 化学/材料 | Image + QA | CC BY 4.0 | jablonkagroup/MaCBench | ⭐⭐ 推荐（评测用） | Nature Comp Sci 发表，揭示模型在化学上接近随机猜测 |
| MolQuest | 2025 | 多机构 | — | 分子识别 | 分子图像 + SMILES | — | — | ⭐ 可参考（评测用） | 光谱→结构推断 |
| PubChem Compound | 持续更新 | NCBI | 1.15 亿分子 | 化学结构 | SMILES + 2D/3D | Public Domain | — | ⭐⭐ 推荐（原材料） | 可用 RDKit 渲染为分子图像 + SMILES 配对 |
| ChEBI-20 | 2023 | 多机构 | 33K 条 | 分子描述 | SMILES + Caption | CC BY 4.0 | — | ⭐ 可参考 | 分子→自然语言描述 |
B.5 物理/工程数据集
| 数据集 | 发布时间 | 发布机构 | 规模 | 子领域 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| PhysicsArena | 2025 | 多机构 | — | 物理多学科 | Image + QA | — | — | ⭐⭐ 推荐（评测用） | 首个多模态物理推理 benchmark，EMNLP 2025 |
| SciGram | 2025 | 多机构 | 大规模科学图解 | 全 STEM | Diagram + QA | — | — | ⭐⭐ 推荐（评测+训练） | Submitted ICLR 2026，大规模科学图解 |
| IconQA | 2021 | UCSB | 107K 问题 | 抽象图形 | Icon/Diagram + QA | CC BY-NC-SA 4.0 | — | ⚪ 较旧 | 抽象图形推理 |
B.6 文档/OCR 类数据集（辅助 STEM 文档理解）
| 数据集 | 发布时间 | 发布机构 | 规模 | 子领域 | 格式 | 许可证 | HuggingFace | 是否建议利用 | 说明 |
|---|---|---|---|---|---|---|---|---|---|
| DocVQA | 2021 | CVC Barcelona | 12.7K 图 / 50K QA | 文档理解 | Document + QA | — | lmms-lab/DocVQA | ⭐⭐ 推荐 | 文档视觉 QA 标杆 |
| InfoVQA | 2022 | CVC Barcelona | 5.4K 图 / 30K QA | 信息图 | Infographic + QA | — | — | ⭐ 可参考 | 信息图理解 |
| TextVQA | 2019 | Facebook AI | 45K 问题 | OCR 场景 | Image + QA | CC BY 4.0 | — | ⚪ 非 STEM | 自然场景文字识别 |
B.7 评测基准（不用于训练，但用于评估 STEM 能力）
| 数据集 | 发布时间 | 发布机构 | 规模 | 评测重点 | 说明 |
|---|---|---|---|---|---|
| MMMU | 2024 | In2, CMU 等 | 11.5K 问题 | 大学多学科综合 | 主流 VLM STEM 评测标杆，CVPR 2024 |
| MMMU-Pro | 2024.09 | 同上 | 增强版 | 更严格，减少随机猜测 | 去除纯文本可答的题目 |
| MathVista | 2023 | UCLA 等 | 6.1K 问题 | 数学视觉推理 | 16 个数学学科 × 5 难度级别 |
| MathVision (MATH-V) | 2024 | NeurIPS 2024 | 3K 问题 | 竞赛级数学 | 高难度视觉数学问题 |
| MV-MATH | 2025 | CVPR 2025 | — | 多图数学推理 | 多张图片联合推理 |
| We-Math | 2024 | 多机构 | — | 数学推理过程 | 关注推理步骤而非仅答案 |
B.8 利用建议总结
预训练阶段（⭐⭐⭐ 优先入库）
| 数据集 | 预估可用规模 | 关键价值 |
|---|---|---|
| InfiMM-WebMath-40B | 40B tokens | 数学图文交错文档，直接可用 |
| Multimodal Textbook | 0.8B tokens + 6.5M 图 | STEM 教学视频转化，知识密度高 |
| ArXivCap | 6.4M figure-caption 对 | 全 STEM 科学图表，覆盖最广 |
| PubChem (RDKit 渲染) | 可生成数百万分子图 | 化学结构式+SMILES 配对，填补巨大空白 |
后训练阶段（⭐⭐⭐ 优先使用）
| 数据集 | 规模 | 关键价值 |
|---|---|---|
| MathV360K | 360K 条 | 数学多样性最强，24 个源数据集汇合 |
| Vision-R1-cold | 200K 条 | CoT 推理冷启动，效率极高 |
| Geo170K | 170K 条 | 几何专项，G-LLaVA 验证有效 |
可以忽略的
| 数据集 | 原因 |
|---|---|
| FigureQA / DVQA | 2018 年发布，合成数据过于简单，任务形式已过时 |
| TQA | 规模太小，被 ScienceQA 覆盖 |
| IconQA | 抽象图形推理，与 STEM 关联弱 |
| TextVQA | OCR 场景文字识别，非 STEM 方向 |
特别提示：以上评测基准（B.7 节）不应用于训练，但应作为效果验证的标准测试集。训练时如果包含评测集会导致数据污染。