多模态模型预训练数据全景：从组合式到原生多模态
系统梳理多模态大模型的预训练数据体系：组合式多模态（LLaVA 范式）vs 原生多模态（Chameleon/Gemini/Llama 4 范式）的架构差异、训练阶段、数据类型与配比、Scaling Law，以及关于原生多模态训练的实操建议。
一句话概括
组合式多模态是”先训好语言模型，再接上眼睛”；原生多模态是”从出生就能看能听能说”。两者的数据体系、训练阶段、Scaling Law 完全不同。
一、两种范式的本质区别
1.1 组合式多模态（Modular / Composition-based）
代表：LLaVA、InternVL（v1/v2）、Qwen-VL、MiniGPT-4、BLIP-2
核心思路：三个独立模块拼装
冻结的视觉编码器（如 CLIP ViT）
↓
投影层 / 连接器（MLP / Q-Former / Perceiver）
↓
冻结或微调的 LLM（如 Llama / Vicuna）视觉编码器和语言模型是分别预训练好的，中间通过一个轻量投影层”对齐”——本质上是在 LLM 的输入空间里为视觉信号找到一个”翻译接口”。
类比：一个只懂中文的人，配了一个英中翻译。翻译质量决定了他能理解多少英文内容，但他的思维方式始终是中文的。
1.2 原生多模态（Native Multimodal / Early-Fusion）
代表：GPT-4o、Gemini 1/1.5/2、Chameleon（Meta）、Emu3（BAAI）、Llama 4、Transfusion、BAGEL
核心思路：从预训练开始就混合所有模态的数据
图像 tokens + 文本 tokens + 视频 tokens + 音频 tokens
↓
单一 Transformer
（统一的 next-token prediction
或 next-token + diffusion 混合目标）所有模态的数据在预训练阶段就交织在一起，模型从第一个 token 开始就同时学习语言和视觉。没有”先学语言再学视觉”的阶段区分。
类比：一个在双语环境中长大的孩子，从小就同时接触中文和英文，两种语言在大脑中自然融合。
1.3 关键差异速查
| 维度 | 组合式多模态 | 原生多模态 |
|---|---|---|
| 视觉编码器 | 冻结的 CLIP/SigLIP（单独预训练） | 无独立视觉编码器，或与 LLM 联合训练 |
| 模态融合点 | Late fusion — 在 LLM 输入层拼接 | Early fusion — 在 tokenization 层统一 |
| 预训练数据 | LLM 先用纯文本训练，再用图文数据对齐 | 从头开始混合所有模态数据训练 |
| 训练阶段 | 3 阶段（LLM 预训练 → 对齐 → 指令微调） | 1-2 阶段（统一预训练 → SFT/RLHF） |
| 生成能力 | 通常只能理解图像，不能生成 | 天然支持跨模态生成（文→图、图→文） |
| 数据效率 | 图文数据需求相对小（百万~十亿级） | 图文数据需求极大（万亿 token 级） |
| 典型模态覆盖 | 图像+文本 | 图像+文本+视频+音频（any-to-any） |
| 主要瓶颈 | 投影层信息损失、无法生成图像 | 训练稳定性、数据配比、计算成本 |
二、组合式多模态的训练阶段与数据（你熟悉的参照系）
以 LLaVA 为例（最经典的组合式范式），整个流程分三个阶段：
阶段 0：各模块独立预训练（不属于多模态训练本身）
| 模块 | 数据 | 规模 | 说明 |
|---|---|---|---|
| 视觉编码器（CLIP ViT-L/14） | 图文对（LAION-2B、OpenAI WIT 等） | 数十亿图文对 | 对比学习（contrastive），学会图文对齐 |
| 语言模型（Llama 2 / Vicuna） | 纯文本（CommonCrawl、书籍、代码等） | 数万亿 token | 标准 LLM 预训练，跟你熟悉的一样 |
这两个模块训练好后，冻结权重。
阶段 1：特征对齐（Feature Alignment）
| 数据类型 | 来源 | 规模 | 说明 |
|---|---|---|---|
| 图文对（caption 数据） | CC-3M、LAION-CC-SBU 等 | ~558K 对 | 图→文本描述 |
- 训练方式：冻结 ViT 和 LLM，只训练中间的投影层（MLP / Linear Projection）
- 目标：让投影层学会把 CLIP 的视觉 token 映射到 LLM 能理解的空间
- 数据特点：简短的图片描述（caption），不需要复杂指令，只要图文能对上
这一步非常轻——LLaVA 原版只用了 558K 数据、几个小时就完成了。
阶段 2：视觉指令微调（Visual Instruction Tuning）
| 数据类型 | 来源 | 规模 | 说明 |
|---|---|---|---|
| 多模态对话 | LLaVA-Instruct-150K | ~150K 条 | GPT-4 生成的图文对话 |
| 图文 QA | VQAv2、GQA、OCR-VQA 等 | 数十万条 | 学术数据集 |
| 推理任务 | A-OKVQA、TextVQA 等 | 数万条 | 需要推理的视觉问答 |
- 训练方式：冻结 ViT，解冻 LLM + 投影层端到端微调
- 目标：让模型学会根据指令完成复杂的视觉语言任务
- 数据特点：多轮对话、复杂推理、详细描述——跟 LLM 的 SFT 数据类似，只是加了图像
Apple MM1 的关键发现（2024 ECCV）：对于组合式多模态预训练，最优数据配比是三种数据混合：
- 图文对（Image-Caption Pairs）：基础对齐能力
- 交错图文（Interleaved Image-Text）：上下文学习和多图推理能力
- 纯文本（Text-Only）：保持语言能力不退化
只用其中任何一种都不够。交错图文数据对 few-shot 和多图推理特别关键。
三、原生多模态的训练阶段与数据（核心内容）
原生多模态不是”在 LLM 上接眼睛”，而是”从头训一个能看能说的大脑”。具体实现上有两条技术路线：
路线 A：统一 Token 化（Unified Tokenization）
代表：Chameleon、Emu3、Llama 4
核心：把图像也变成离散 token，和文本 token 放在同一个序列里，用同一个 next-token prediction 目标训练。
输入序列：[BOS] The cat is [IMG_TOKEN_1][IMG_TOKEN_2]...[IMG_TOKEN_256] sitting on a mat [EOS]
目标：统一的 next-token prediction视觉 Tokenizer 通常是 VQ-VAE / VQGAN 变体，把一张图片压缩成几百个离散 token（比如 Chameleon 用 1024 个 codebook entry，Emu3 用更大的 codebook）。
路线 B：混合目标（Hybrid Objective）
代表：Transfusion、BAGEL、Show-o、JanusFlow
核心：文本用 next-token prediction，图像用 diffusion loss，两个目标在同一个 Transformer 里联合训练。
文本 token → next-token prediction loss
图像 patch → diffusion loss (连续空间)
两种 loss 在同一个模型里联合优化这条路线的优势是图像不需要离散化（避免了 VQ-VAE 的信息损失），但架构更复杂。
路线 C：Early-Fusion + 独立视觉编码器
代表：Gemini、Llama 4、InternVL3
核心：仍然有视觉编码器（ViT），但从预训练开始就联合训练，而非冻结后拼接。
Llama 4 的做法是先用 MetaCLIP 的 ViT 做了预对齐，然后在多模态预训练中联合更新 ViT + LLM 的全部权重。Gemini 则是从头联合训练所有模态。
四、原生多模态的训练阶段详解
以信息最公开的 Chameleon（Meta, 34B）为主线，补充其他模型的做法：
Stage 1：大规模混合预训练（占总训练的 ~80%）
这是原生多模态的核心阶段，对应 LLM 预训练，但数据是多模态混合的。
Chameleon 的数据组成
| 数据类型 | Token 数 | 占比 | 来源 |
|---|---|---|---|
| 纯文本 | ~2.9T tokens | ~66% | CommonCrawl、Pile、C4 等 |
| 图文交错数据 | ~1.5T tokens | ~34% | LAION、网页爬取的图文混合数据 |
| 代码 | ~0.4T tokens | 包含在文本中 | GitHub、StackExchange |
| 合计 | ~4.4T tokens | 100% | — |
关键数字：4.4 万亿 token，其中文本占约 2/3，视觉相关占约 1/3。
不同模型的数据规模对比
| 模型 | 总 Token 数 | 文本占比 | 视觉占比 | 其他 |
|---|---|---|---|---|
| Chameleon (34B) | 4.4T | ~66% | ~34% | 含代码 |
| Emu3 | 未公开具体数 | — | — | 含视频 |
| Gemini 1.0 | 未公开 | — | — | 含音频/视频 |
| Llama 4 | 未公开 | — | — | Early fusion |
| Transfusion (实验) | 0.5T-2T | ~50% | ~50% | 文/图等比 |
| BAGEL | 万亿级 | — | — | 含视频/网页 |
数据格式
原生多模态的数据不是”一张图+一段文字”这么简单，主要有三种格式：
1. 纯文本（Text-only）
和 LLM 预训练完全一样：网页、书籍、代码、百科...2. 图文对（Image-Text Pairs）
[IMAGE_TOKENS] A golden retriever playing in the park.3. 交错图文（Interleaved Image-Text）—— 最关键的新数据类型
Today I visited Tokyo. [IMAGE: 街道照片] The streets were bustling
with people. We tried ramen at a local shop [IMAGE: 拉面照片] and
it was amazing. Here's the view from Tokyo Tower [IMAGE: 塔景照片].交错图文是原生多模态的杀手级数据——它教会模型理解图文混合的上下文，而非孤立的图文对。主要来源是网页爬取（HTML 中的图文混排），类似 OBELICS、MMC4 这样的数据集。
4. 视频数据（Emu3、Gemini、BAGEL 等）
视频帧序列 = [FRAME_1_TOKENS][FRAME_2_TOKENS]...[FRAME_N_TOKENS]Stage 2：退火 / 质量提升（Annealing，占 ~20%）
这个阶段在 Chameleon 中非常明确，其他模型通常也有类似机制（可能叫法不同）。
| 维度 | 说明 |
|---|---|
| 继续使用 | Stage 1 的全部混合数据 |
| 新增 | ~14 亿条高质量图文对（经过严格筛选） |
| 筛选方法 | 美学评分过滤、人脸图像上采样、多样性去重 |
| 学习率 | 降低，类似 LLM 训练的 annealing 阶段 |
| 目标 | 提升生成质量，特别是图像生成的美学品质 |
类比 LLM 训练：这就像 LLM 预训练最后的退火阶段——降低学习率，混入更多高质量数据（教科书、维基百科等），让模型在收敛前”精修”。
Stage 3：对齐与指令微调（SFT / RLHF）
和 LLM 后训练类似，但数据变成了多模态的：
| 数据类型 | 规模 | 说明 |
|---|---|---|
| 多模态对话 | 万~十万级 | 基于图像的多轮问答 |
| 图像描述 | 万级 | COCO Captions 等 |
| 视觉 QA | 万级 | VQA2、SQuAD 等 |
| 图像生成指令 | 万级 | 文生图、图编辑等 |
| 安全数据 | — | 拒绝有害生成 |
Chameleon 的特别做法：公开版本限制了图像生成输出，只保留了理解能力——推测安全对齐中对生成端做了强约束。
Stage 3.5（可选）：任务特化微调
部分模型在通用 SFT 之后，还会针对特定能力做专项强化：
- GUI 理解（InternVL3 新增了 GUI 任务数据）
- 视频理解（长视频帧采样 + 时序推理）
- 工具使用（调用 API 的多模态轨迹）
- 3D 场景理解
五、数据配比的 Scaling Law
2026 年 3 月的最新研究 Beyond Language Modeling（Meta/Meta FAIR）通过受控实验得出了几个关键发现：
发现 1：视觉比语言更”数据饥渴”
通过 IsoFLOP 分析（固定计算量，变化数据量和模型大小），发现：
- 语言：相对”模型容量饥渴”——在固定数据量下，增大模型参数收益更大
- 视觉：相对”数据饥渴”——在固定模型大小下，增加数据量收益更大
这意味着多模态训练的数据需求量远大于纯语言训练，特别是视觉数据。
发现 2：MoE 是解决模态扩展不对称的利器
MoE（Mixture of Experts）架构能同时满足：
- 语言需要的高模型容量（更多专家参数）
- 视觉需要的大数据量（每个专家处理不同数据子集）
而且 MoE 会自然地诱导模态专业化——部分专家自动专注于语言，部分专注于视觉。
发现 3：文本数据仍然是多模态训练的基石
即使在原生多模态训练中，纯文本数据仍占据主导地位（Chameleon 中约 66%）。原因：
- 语言是推理的载体，文本数据质量直接决定推理能力
- 图文数据的”信息密度”低于纯文本——一张图片对应的知识量远不如等量文本
- 保持足够的文本比例可以避免语言能力退化
发现 4：交错数据是关键
Apple MM1 和后续研究反复验证：交错图文数据对 few-shot 和多图推理至关重要。纯图文对训练出的模型在上下文学习能力上明显弱于加入交错数据的模型。
六、各代表模型的训练方案对比
| 模型 | 年份 | 技术路线 | 视觉处理 | 预训练目标 | 训练阶段 | 生成能力 |
|---|---|---|---|---|---|---|
| LLaVA | 2023 | 组合式 | 冻结 CLIP ViT + MLP | NTP（仅文本） | 3 阶段 | ❌ 不能生成图像 |
| BLIP-2 | 2023 | 组合式 | 冻结 ViT + Q-Former | NTP + ITC + ITM | 3 阶段 | ❌ |
| Chameleon | 2024 | 原生（统一 Token） | VQGAN tokenizer | NTP（统一） | 2+1 阶段 | ✅ 图文互生 |
| Emu3 | 2024 | 原生（统一 Token） | 离散 VQ tokenizer | NTP（统一） | 预训练 + SFT | ✅ 图/文/视频 |
| Transfusion | 2024 | 原生（混合目标） | 连续 patch | NTP + Diffusion | 统一预训练 | ✅ |
| Gemini 1.0 | 2024 | 原生 Early-Fusion | 联合训练 ViT | NTP（跨模态） | 统一预训练 + SFT | ✅ any-to-any |
| Llama 4 | 2025 | 原生 Early-Fusion + MoE | MetaCLIP ViT 联合训练 | NTP | 统一预训练 + SFT | ✅ |
| InternVL3 | 2025 | 原生（从组合式升级） | 联合训练 ViT | NTP | 统一预训练 + SFT | 部分 |
| BAGEL | 2025 | 原生（混合目标） | AR + Diffusion 混合 | NTP + Diffusion | 统一预训练 | ✅ |
| GPT-4o | 2024 | 原生（推测） | 端到端 | 端到端 | 推测 2 阶段 | ✅ any-to-any |
七、从组合式到原生：行业演进趋势
2023 上半年：组合式多模态主导
LLaVA、MiniGPT-4、BLIP-2 —— 门槛低、迭代快、开源友好
2024 年：原生多模态概念确立
GPT-4o 首次被称为"原生多模态" → Chameleon（Meta）→ Emu3（BAAI）
2025 年：原生多模态开源爆发
Gemini 2/2.5、Llama 4、InternVL3、Janus-Pro、BAGEL、Show-o2
统一理解+生成成为共识
2026 年：Scaling Law 和训练方法论成熟
Beyond Language Modeling（受控实验验证设计空间）
MoE + 原生多模态成为主流架构
Emu3 发表 Nature（next-token prediction 统一范式被学界认可）趋势明确：组合式多模态正在被原生多模态替代。 但组合式由于训练成本低、迭代快，在中小规模模型和特定场景（纯理解、不需要生成）中仍有价值。
八、训练建议
基于以上分析，如果你要训练原生多模态模型，以下是按优先级排序的建议：
建议 1：选对技术路线
- 如果目标是理解+生成：选原生多模态，不要用组合式
- 统一 Token 路线（Chameleon/Emu3） vs 混合目标路线（Transfusion/BAGEL）：
- 统一 Token：架构简单，但 VQ-VAE 有信息损失，图像生成质量受限于 codebook 大小
- 混合目标：图像质量更好（连续空间保留更多信息），但训练更复杂
- 2025-2026 的趋势偏向混合目标（Transfusion 路线），Meta 最新的 Beyond Language Modeling 也采用了 Transfusion + RAE 方案
- 如果资源有限、只要理解能力：组合式多模态仍然是性价比最高的选择（冻结 ViT + 微调 LLM，几块卡就能跑）
建议 2：数据配比——文本为基石，交错为关键
推荐的预训练数据配比（基于 Chameleon 和 MM1 的经验）：
| 数据类型 | 推荐占比 | 作用 |
|---|---|---|
| 纯文本 | 50-65% | 保持推理和语言能力 |
| 图文对 | 15-25% | 基础视觉-语言对齐 |
| 交错图文 | 10-20% | 上下文学习、多图推理 |
| 视频 | 5-10%（可选） | 时序理解 |
| 代码 | 5-10% | 结构化推理辅助 |
核心原则：纯文本占比不能低于 50%。 视觉数据比例过高会导致语言能力严重退化。
建议 3：训练阶段设计
推荐的阶段设计（三阶段）：
阶段 1：大规模混合预训练（~80% 计算量）
- 数据：全部五种类型混合
- 模型：全参数训练（ViT + LLM + 投影层）
- 目标：学会跨模态的基础表征
- 关键：训练稳定性 —— Chameleon 发现需要特殊的归一化策略（QK-Norm、dropout 调整）来防止多模态训练崩溃
阶段 2：退火 + 质量提升（~20% 计算量）
- 数据：继续使用阶段 1 数据 + 新增高质量图文数据
- 关键操作：降低学习率、上采样高质量数据、美学评分过滤
- 目标：提升生成质量和美学品质
阶段 3：SFT + RLHF（相对少量计算）
- 数据：多模态指令数据（对话、QA、生成指令）
- 和 LLM 后训练类似，但覆盖多模态场景
- 安全对齐：特别注意图像生成的安全约束
建议 4：视觉 Tokenizer 的选择
- 离散 Token（VQ-VAE/VQGAN）：简单直接，但 codebook 大小限制了表征精度。Emu3 用 32768 大小的 codebook，Chameleon 用 8192
- 连续表征 + Diffusion：保留更多信息，图像质量上限更高，但训练复杂
- RAE（Representation Autoencoder）：Beyond Language Modeling 提出的方案，在理解和生成两个维度都是最优——推荐优先尝试
建议 5：MoE 架构强烈推荐
如果模型规模足够大（>10B 参数），MoE 对原生多模态有三个独特优势：
- 自然的模态专业化：不同 expert 会自动分工处理不同模态
- 解决扩展不对称：语言需要大模型，视觉需要大数据，MoE 同时满足
- 计算效率：Llama 4 Maverick 用 17B 激活参数达到了远超 Dense 17B 的效果
建议 6：避免的坑
| 坑 | 现象 | 解法 |
|---|---|---|
| 训练崩溃 | loss 突然飙升，多发生在多模态混合训练中 | QK-Norm、z-loss regularization、梯度裁剪 |
| 语言能力退化 | 加入视觉数据后，纯文本 benchmark 下降 | 保持文本占比 ≥50%；纯文本 eval 持续监控 |
| 图文不对齐 | 模型”看到”图但不理解内容 | 增加高质量交错数据；检查视觉 tokenizer 质量 |
| 生成质量差 | 生成的图像模糊/不自然 | 退火阶段上采样高质量数据；增大 codebook |
| 模态偏好 | 模型倾向只用文本回答，忽略图像输入 | 数据中增加”必须依赖图像才能回答”的样本 |
建议 7：数据建设优先级
如果资源有限，数据建设的投入优先级：
- 纯文本预训练数据（最重要，直接复用 LLM 数据，不需要额外投入）
- 高质量图文对（LAION 质量不够，需要过滤或自建）
- 交错图文数据（网页爬取 + 清洗，对 few-shot 能力至关重要）
- 高质量 SFT 数据（多模态对话/QA/生成指令，精标质量 > 数量）
- 视频数据（投入大、回报周期长，按需投入）
九、一句话总结
原生多模态的本质是把”先学语言、再学视觉”变成”同时学语言和视觉”。 它需要的不是全新的训练方法论，而是在你已经熟悉的 LLM 预训练流程中，把数据从纯文本扩展为多模态混合，把模型从纯 Transformer 扩展为能处理多模态 token 的 Transformer。核心挑战不在算法，在数据——特别是高质量的交错图文数据和合理的模态配比。