原生多模态预训练数据建设：全景深度解析

1 范式转移：为什么数据建设要推倒重来

旧范式的四个结构性缺陷

传统三段式分离管线：纯文本语料 → LLM 预训练 → 冻结参数 → 图文配对 → Adapter 对齐 → MLLM → 独立扩散模型 → T2I

代表模型：LLaVA (NeurIPS 2023)、InternVL 1-2 (CVPR 2024)、QWen-VL (2023)

❶ 模态鸿沟不可消弭

LLM 参数在视觉训练期间冻结或部分冻结，内部表示从未为视觉信息调整 —— InternVL3 论文明确指出

❷ 数据利用率低下

OmniCorpus 统计：互联网可提取交错文档 86 亿张图像 / 330 亿文档，传统方法只用到极小的配对子集

❸ 理解-生成天然割裂

HKUST 综述系统梳理 50+ 统一模型，指出理解和生成的统一是当前最核心的技术挑战

❹ 桥接瓶颈

桥接模块参数量仅占 1-5%，BAGEL 指出 External Diffuser 压缩 LLM 上下文为少量潜变量，导致不可逆信息损失

新范式的三个数据要求

模型从"出生"（第一个 token 的预训练）起就同时接触所有模态，在统一的序列空间中学习理解和生成。

统一 Token 空间：所有模态转换为同一种序列表示
交错数据为核心燃料：以文档级交错序列为基本单元
动态多阶段配比：不同阶段不同模态配比

代表性模型规模对比

时间	模型	团队	参数量	预训练数据量	关键数据创新
2024.05	Chameleon	Meta FAIR	7B/34B	~9.2T tokens	首个万亿级 Early-Fusion 交错预训练
2024.08	Transfusion	Meta/Waymo/USC	0.16B-7B	2T tokens	AR+Diffusion 混合；图像压缩至 16 patches
2024.10	Emu3	BAAI	8B	未公开	纯 NTP 统一图文视频；Nature 发表
2025.01	Janus-Pro	DeepSeek	1B/7B	10 亿样本	双编码器 + 7200 万合成美学数据
2025.04	InternVL3	OpenGVLab	1B-78B	2000 亿 tokens	原生预训练反超纯语言基座
2025.05	BAGEL	ByteDance Seed	7B(14B)	5.1T tokens	MoT 双专家 + 推理增强 + 世界建模
2025.10	Emu3.5	BAAI	未公开	>10T tokens	IBQ 131K 码本 + 视频交错核心 + DiDA 20×

    趋势：数据规模在 18 个月内从 2T → 10T+；交错数据占比从 8%（Chameleon）→ 55%（Emu3.5）
  

2 Visual Tokenizer：统一表示空间的核心战场

三大路线深度对比

指标	Chameleon (VQ-IMG)	Emu3	Emu3.5 (IBQ)	Transfusion	Janus-Pro	BAGEL
编码类型	离散 8K 码本	离散 8K	离散 131K	连续 patch	双编码器	SigLIP2+VAE
512² 图像 token 数	1,024	1,024	~256	16	视情况	视情况
语义蒸馏	❌	❌	✅ SigLIP	原生连续	SigLIP(理解)	SigLIP2
OCR 能力	弱	一般	显著改善	取决于分辨率	好	好
数据效率（vs Chameleon）	1×	1×	~4×	>60×	—	—

    关键 Insight：Tokenizer 选择对数据工程有三个直接影响：

    ❶ 数据量需求 — IBQ 节省 75% token 预算  
    ❷ 序列长度瓶颈 — 高压缩率解锁长文档训练  
    ❸ 质量标准 — 高压缩 tokenizer 倒逼更严格的数据过滤
  

    行业趋势收敛方向：大码本（64K-131K）+ 高压缩（f=16+）+ 语义蒸馏（SigLIP/CLIP）+ 可选扩散解码器
  

3 交错数据构建：核心燃料的工业级管线

交错数据提供的三种独特学习信号

长程跨模态推理

第 3 段文字解释第 1 张图片 → 模型必须跨越长距离理解图文逻辑。BAGEL 的涌现能力（自由编辑/帧预测/3D 操作）源于此

文档级理解

论文有图表+公式+正文交错；产品手册有截图+步骤+注意事项。只有交错训练才能处理真实场景

时序因果性

视频帧+ASR 的时序对应让模型学习物理因果 — Emu3.5 的"世界模型"能力来源

主要交错数据集规模

数据集	来源	文档数	图像数	发布
OBELICS	Common Crawl	1.41 亿	3.53 亿	NeurIPS 2023
MMC4	Common Crawl	1.01 亿	5.71 亿	2023
OmniCorpus	Common Crawl+	330 亿	86 亿	ICLR 2025

Emu3.5 视频交错数据构建管线

规模：6300 万视频 · 平均 6.5 分钟 · 等价 ~790 年连续影像

原始视频（6300 万）
  │
  ├── 1. PySceneDetect 场景分割 → 语义连贯片段
  ├── 2. 关键帧提取（~0.27 fps，每 3.7 秒取一帧）
  ├── 3. Whisper-large-v2 ASR → 带时间戳转录
  ├── 4. spaCy 文本后处理（分句/清洗/去噪）
  ├── 5. 时间对齐：帧 ↔ 转录文本 → 交错序列
  ├── 6. 基础过滤：时长/分辨率/说话人
  └── 7. 高级过滤：DINO/CLIP 去重 + DeQA + LLM 评分

BAGEL 的"标题优先"策略

    核心 Trick：为 OmniCorpus 2000 万文档中的每张图像，用 VLM 生成简短描述插入图像前 → 作为"概念脚手架"

    消融验证：交错生成任务性能显著提升。本质上是在数据层面降低了跨模态对齐的学习难度

合成数据：高 ROI 杠杆

Janus-Pro 合成美学数据

7200 万合成图像，Midjourney prompt 来源
真实:合成 = 1:1 混合
效果：收敛更快、生成更稳、GenEval 0.78

BAGEL 推理增强数据

50 万条推理链：
T2I 推理（~15 万）+ 编辑推理（~20 万）+ 概念推理（~15 万）
效果：触发涌现能力（自由编辑/帧预测/3D）

4 数据配比：Scaling Law 驱动的多阶段策略

Apple ICCV 2025：457 个模型的五大结论

研究规模：457 个模型，300M-3B 参数，250M-400B tokens

NMM 遵循 C ≈ 6ND — 与 LLM Chinchilla 定律结构一致
早期融合 ≥ 后期融合 — 低参数区间早期融合更优；后期融合无固有优势
数据配比具有"鲁棒性" — 不同混合比例展现相似缩放趋势，无唯一"黄金比例"
MoE 下 token 数 > 参数量 — 扩展 token 数比扩展参数更重要
N 和 D 应等比例扩展 — 翻倍参数时训练数据也应翻倍

各模型实际配比

模型	纯文本	图文配对	交错数据	视频	其他	总量
Chameleon S1	2.9T (60%)	1.5T (31%)	400B (8%)	—	—	~4.8T
Emu3.5 S1	20%	20%	55%	5%	—	10T
Emu3.5 S2	18%	16%	55%	8%↑	3% X2I	3.5T
BAGEL PT	400M样本	2100M对	20M文档	45M视频	—	~2.5T
BAGEL CT	↓	↓	↑比例提升	↑比例提升	推理增强50万	~2.6T
InternVL3	500亿 (25%)	多模态 1500 亿 (75%)				2000亿
Janus-Pro	—	10亿样本	❌	—	7200万合成	—

InternVL3：反超纯语言基座

反直觉发现：75% 多模态 + 25% 文本的原生预训练，在纯语言基准上始终优于初始化来源 Qwen2.5 Chat

对比	MMLU	GSM8K
InternVL3-8B vs Qwen2.5-7B	77.3 vs 74.2	83.1 vs 80.1
InternVL3-78B vs Qwen2.5-72B	Overall: 80.5 vs 78.9	89.7 vs 88.2

多模态数据中的文本信号 + 视觉 grounding 对语言理解有正向迁移

三阶段递进模式

阶段一（60-70% FLOPs）— 基础预训练
 交错 45-55% │ 文本 20-30% │ 配对 15-20% │ 视频 5-10%
 → 低分辨率 512², 大规模, 建立跨模态基础对齐

阶段二（25-30% FLOPs）— 质量退火
 交错 50-55% │ 文本 15-20% │ 配对 10-16% │ 视频 8%↑ │ 生成 3-5%
 → 动态分辨率 512²-1024², 阶段一数据权重降低 50%

阶段三（5-10% FLOPs）— SFT / 能力强化
 理解SFT 25% │ 生成SFT 30% │ 交错 25% │ 推理增强 10% │ 世界建模 10%
 → 高分辨率, 高质量, 任务特化

5 各模型方案深度对比

Meta 路线

Chameleon → Transfusion

贡献：证明万亿级 Early-Fusion 可行；连续表示扩展性优于离散量化
Insight：交错数据（即使 8%）已能教会跨模态推理
矛盾：Chameleon 追求统一 vs Transfusion 追求各模态最优解 → 行业向 Transfusion 靠拢

BAAI 路线

Emu3 → Emu3.5

贡献：纯 NTP 登顶 Nature；IBQ 131K 让离散路线接近连续路线
Insight：视频交错数据（55%/790 年影像）是世界模型关键；DiDA 20× 加速解决推理瓶颈
核心：Tokenizer 质量决定整条管线效率上限

DeepSeek 路线

Janus → Janus-Pro

贡献：证明不做交错预训练也可竞争；合成美学数据 ROI 极高
Insight：7200 万合成数据 + Midjourney prompt = 小成本大收益
适用：资源有限但追求快速落地

ByteDance 路线

BAGEL

贡献：涌现能力的数据基础；标题优先 + 推理增强
Insight：大规模交错(5.1T) + 推理数据(50 万) → 组合涌现
核心：数据构建协议可复用

OpenGVLab 路线

InternVL3

贡献：原生预训练反超语言基座；V2PE 解锁长文档
Insight：文本:多模态 = 1:3 最优；全参数联合更新（不冻结）
适用：已有 VLM 管线，渐进升级

方案选择决策树

🎯 你的场景是什么？

从零构建，追求极致统一 → Emu3.5 路线

纯 AR + IBQ + 大规模交错 | 10T+ tokens | ~2000 GPU-days (8B)

追求生成质量最优 → Transfusion / BAGEL 路线

AR + Diffusion/Flow | 2-5T tokens | 需分别处理离散和连续管线

快速落地，资源有限 → Janus-Pro 路线

双编码器 + 合成数据 | 10 亿样本 + 7200 万合成 | ~200 GPU-days (7B)

有现成 VLM，想渐进升级 → InternVL3 路线

原生预训练注入 | 2000 亿 tokens | 可复用现有管线

6 数据质量工程：新维度的过滤与评估

质量维度	说明	为什么重要	评估方法
交错连贯性	图文交替的逻辑连贯	不连贯 = 教模型"随机插图"	CoMM 策略；尚无统一指标
跨模态因果性	图片与上下文的因果关系	无因果 = 噪声	LLM 打分 + 人工抽检
时序一致性	视频帧间变化连贯	帧间跳变破坏时序学习	运动分数 + 场景检测
文档结构完整性	网页结构是否完整	截断网页丢失上下文	DOM 树分析
多模态推理质量	是否支持推理学习	低推理质量只教"记忆"	人工构建 + VLM 评估

UniFilter (EMNLP 2025)

    方法：半合成训练数据 → 4 等级质量分类器 → 同时评估 caption 和 interleaved document

    效果：从 OBELICS 筛出 OBELICS-HQ → 训练的 MLLM 显著优于全量 OBELICS

    结论：用更少的数据训出更好的模型 — 质量 > 数量

Chameleon 的安全数据工程

95,300 条专用安全数据：暴力 / 受控物质 / 隐私 / 色情

来源：LLaMA-2-Chat 拒绝回复 + Rainbow Teaming 对抗文本 + Pick-A-Pic 安全测试 + 内部多模态提示

效果：20,000 众包提示仅 0.1% 不安全；445 红队交互仅 1.6% 不安全

7 核心结论与行动建议

五个核心结论

❶ 交错数据是新石油

从 8% → 55%，构建高质量交错管线是第一性原理

❷ Tokenizer 决定数据经济学

IBQ 将 token 数降至 1/4，投资 Tokenizer 的 ROI 最高

❸ 原生预训练增强语言能力

InternVL3 用 75% 多模态数据反超纯语言基座

❹ 合成数据是高 ROI 杠杆

7200 万合成美学 + 50 万推理增强 = 极低成本显著提升

❺ 动态配比是必需品

无固定"黄金比例" — 阶段一重多样性(55% 交错) → 阶段二重质量(退火) → 阶段三重特化(SFT+推理)

行动优先级

优先级	行动项	预期影响	投入
P0	构建高压缩率 Visual Tokenizer	决定管线效率上限	2-4 周
P0	网页交错数据管线 (OmniCorpus)	核心训练燃料	1-2 周
P1	视频交错数据管线	解锁世界模型能力	2-4 周
P1	合成美学数据构建	高 ROI 生成质量提升	1 周
P2	统一质量过滤器 (UniFilter)	自动化质量控制	2-3 周
P2	推理增强数据构建	解锁涌现能力	1-2 周

原生多模态预训练数据建设全景深度解析