综合调研

原生多模态预训练数据建设：从架构选择到万亿级数据工程的全景深度解析

系统性解析 Chameleon、Transfusion、Emu3/3.5、Janus-Pro、InternVL3、BAGEL 六大代表性模型的数据建设方案，覆盖 Tokenizer 设计、交错数据构建、数据配比策略、Scaling Law 与质量工程，引用 30+ 篇 2024-2026 核心论文

原生多模态 预训练数据 交错数据 Visual Tokenizer Scaling Law 数据配比 数据质量 Chameleon Emu3 BAGEL Transfusion
新窗口

摘要：原生多模态（Native Multimodal）预训练正在重塑多模态 AI 的数据建设范式。与传统”先训 LLM、再接视觉模块”的桥接路线不同，原生多模态要求模型从第一个 token 起就同时接触文本、图像、视频等所有模态，在统一的序列空间中学习理解和生成。这一范式转移不仅改变了模型架构，更从根本上重新定义了数据需求——从”配对数据为主”到”交错数据为核”，从”固定配比”到”动态多阶段混合”，从”单模态质量指标”到”跨模态连贯性评估”。本文系统性解析 2024-2026 年间六大代表性模型（Chameleon、Transfusion、Emu3/3.5、Janus-Pro、InternVL3、BAGEL）的数据建设方案，深入剖析 Visual Tokenizer 设计、交错数据构建管线、数据配比策略、Scaling Law 发现与数据质量工程五大核心主题，引用 30+ 篇核心论文，提供可落地的数据建设蓝图。

一、范式转移的本质：为什么数据建设要推倒重来

1.1 旧范式的数据管线与其结构性缺陷

传统多模态大模型的数据建设遵循三段式分离管线：

阶段一：纯文本语料 → LLM 预训练 → 冻结语言模型参数
                                         ↓
阶段二：图文配对数据 → 视觉编码器 + Adapter 对齐训练 → MLLM
                                         ↓
阶段三：图像生成数据 → 独立扩散模型/流模型训练 → T2I 模型

这条管线的核心假设是：语言能力和视觉能力可以独立训练，再通过轻量级桥接模块（MLP Adapter、Q-Former、Perceiver Resampler）对齐。代表模型包括 LLaVA 系列 [Liu et al., NeurIPS 2023]、InternVL 1-2 [Chen et al., CVPR 2024]、QWen-VL [Bai et al., 2023]。

这条路线存在四个结构性缺陷：

（1）模态鸿沟不可消弭。LLM 的语言空间和视觉编码器的表示空间是在完全不同的数据和目标下训练的。桥接模块只能做到表面对齐——让模型”看懂”图片并生成描述——但无法实现深层次的跨模态推理。InternVL 团队在 InternVL3 论文中明确指出，传统方法中 LLM 的参数在视觉训练期间通常是冻结或部分冻结的，这意味着语言模型的内部表示从未真正为视觉信息做过调整 [Zhu et al., arXiv:2504.10479, 2025]。

（2）数据利用率低下。自然界中大量信息以图文交错的形式存在——网页、教科书、论文、社交媒体帖子。传统配对数据（image-caption pairs）只能捕捉”一张图配一段话”的简单映射，完全丢失了文档级的上下文结构、图文间的因果关系和叙事逻辑。OmniCorpus 数据集的统计表明，互联网上可提取的交错图文文档超过 86 亿张图像、330 亿文档 [Li et al., ICLR 2025]，而传统方法只用到了其中极小的配对子集。

（3）理解-生成天然割裂。同一个模型无法既理解图像又生成图像。这不仅是架构限制，更是数据管线的限制——理解管线和生成管线使用完全不同的数据处理流程、不同的表示空间、不同的训练目标。HKUST 的综述 [Zhang et al., arXiv:2505.02567, 2025] 系统性地梳理了 50+ 个统一模型，指出理解和生成的统一是当前最核心的技术挑战。

（4）能力上限受限于桥接瓶颈。桥接模块的参数量通常只占总模型的 1-5%，这意味着模型的视觉能力被压缩到一个极窄的信息通道中。BAGEL 团队直接指出，External Diffuser 方案（如 MetaQuery）需要将 LLM 上下文压缩为少量潜变量，导致不可逆的信息损失 [Deng et al., arXiv:2505.14683, 2025]。

1.2 新范式的核心理念与数据要求

原生多模态的核心理念用一句话概括：

模型从”出生”（第一个 token 的预训练）起就同时接触所有模态，在统一的序列空间中学习理解和生成。

这意味着数据建设必须满足三个新要求：

  1. 统一 Token 空间：所有模态（文本、图像、视频）必须转换为同一种序列表示，要么全部离散化，要么混合离散与连续
  2. 交错数据为核心燃料：数据不再以配对为基本单元，而是以文档级交错序列为基本单元——一个训练样本可能包含多张图片、多段文字、多个视频帧
  3. 动态多阶段配比：不同训练阶段需要不同的模态配比，从早期的大规模粗粒度学习到后期的高质量精细化调优

1.3 代表性模型时间线与规模对比

时间模型团队参数量预训练数据量关键数据创新
2024.05ChameleonMeta FAIR7B / 34B~9.2T tokens（2.1 epoch）首个万亿级 Early-Fusion 交错预训练
2024.08TransfusionMeta / Waymo / USC0.16B-7B2T tokensAR+Diffusion 混合目标；图像压缩至 16 patches
2024.10Emu3BAAI8B未公开纯 Next-Token Prediction 统一图文视频；Nature 发表
2025.01Janus-ProDeepSeek1B / 7B10 亿样本双编码器解耦 + 7200 万合成美学数据
2025.04InternVL3OpenGVLab / 上海 AI Lab1B-78B2000 亿 tokens原生多模态预训练反超纯语言基座
2025.05BAGELByteDance Seed7B (14B 总)5.1T tokensMoT 双专家架构 + 推理增强数据 + 世界建模
2025.10Emu3.5BAAI未公开>10T tokensIBQ 131K 码本 + 视频交错为核心 + DiDA 20× 加速

这个表格揭示了一个清晰趋势：数据规模在 18 个月内从 2T 跃升到 10T+ tokens，交错数据的比重从补充角色上升到核心主导。

二、Visual Tokenizer：统一表示空间的第一场战役

Visual Tokenizer 是原生多模态数据建设的前提条件——它决定了图像/视频以何种形式进入训练数据流，直接影响数据量需求、序列长度、信息保真度和下游能力上限。

2.1 三大技术路线的深度对比

路线一：离散像素级量化（VQ-VAE / VQ-GAN / IBQ）

核心原理：将图像通过编码器映射到潜空间，再通过向量量化（Vector Quantization）将连续向量映射到有限码本（codebook）中的离散码，每个码对应一个”图像 token”。

Chameleon 的方案 [Meta FAIR, arXiv:2405.09818]：

  • 码本大小：8192（8K codes）
  • 输入分辨率：512×512 像素
  • 单张图像 token 数：1024
  • 编码器基于 Gafni et al. [2022]，仅使用授权图像训练
  • 关键限制：8K 码本在表示复杂图像（尤其含文字的图像）时能力不足，论文明确承认”该编码器在重建包含大量文本的图像时表现较弱，从而限制了模型在 OCR 相关任务上的能力上限”
  • 数据影响：14 亿图文对 × 1024 token/张 = 约 1.5T 图像 token，占总训练量的 16%

Emu3/3.5 的方案 [BAAI, Nature 2026 / arXiv:2510.26583]：

  • Emu3 初代码本：8192，与 Chameleon 类似
  • Emu3.5 升级至 IBQ（Improved Binary Quantization），码本大小 131,072（131K）
  • 下采样因子 f=16（相比 f=8），意味着同样分辨率的图像只需 1/4 的 token 数量
  • 语义蒸馏：在训练 IBQ tokenizer 时，引入 SigLIP 特征作为语义监督信号——离散 token 不仅重建像素，还保留高层语义
  • 扩散解码器（可选）：在 IBQ 解码之后接一个轻量扩散解码器做 2× 超分辨率，弥补量化损失
  • 数据影响：同样分辨率下 token 数量降至 Chameleon 的 1/4，使得 10T+ tokens 的训练变得可行

关键数据对比：

指标Chameleon (VQ-IMG)Emu3Emu3.5 (IBQ)
码本大小8,1928,192131,072
下采样因子f=8f=8f=16
512×512 图像 token 数1,0241,024~256
语义蒸馏❌❌✅ SigLIP
OCR 能力弱一般显著改善
数据效率（相同 FLOPs 下）基线基线~4× 提升

路线二：连续语义级编码

核心原理：使用预训练的视觉编码器（如 CLIP、SigLIP、ViT）提取连续特征向量，图像以连续 embedding 的形式进入模型，不经过量化。

Transfusion 的方案 [Meta / Waymo / USC, ICLR 2025, arXiv:2408.11039]：

  • 图像保持连续 patch 表示，不量化为离散 token
  • 文本用 AR（Next-Token Prediction）损失，图像用 Diffusion 损失
  • 通过引入模态特定的编码/解码层，可以将每张图像压缩到仅 16 个 patches
  • 数据影响：Token 效率极高——同样的数据量下，连续表示可以承载更多图像信息

关键实验发现：Transfusion 论文通过系统性 Scaling Law 实验证明，连续图像表示在扩展性上显著优于离散量化方案。在相同参数量和训练 FLOPs 下，Transfusion 7B + 2T tokens 的图像生成质量与同规模独立扩散模型相当，同时保持了接近纯语言模型的文本能力。

路线三：混合编码

核心原理：理解和生成使用不同的视觉编码路径，通过架构设计协调两者。

Janus-Pro 的方案 [DeepSeek, arXiv:2501.17811]：

  • 理解侧：使用 SigLIP 视觉编码器，提取高层语义特征
  • 生成侧：使用 VQ tokenizer，将图像量化为离散码
  • 双编码器完全解耦：理解和生成不共享视觉编码器
  • 论文称这解决了”理解-生成冲突”——在统一模型中，高层语义编码对理解有利但对生成不利，像素级编码反之

BAGEL 的方案 [ByteDance Seed, arXiv:2505.14683]：

  • 理解侧：高分辨率 ViT（SigLIP2 + NaViT），支持原生宽高比，最大 980×980
  • 生成侧：冻结 VAE 编码器，使用 Rectified Flow 在连续潜空间生成
  • 两个 Transformer 专家（MoT）通过共享自注意力层实现跨模态无损交互
  • 数据影响：双编码器意味着同一张图像在训练时需要被两次编码——一次给理解专家（语义特征），一次给生成专家（VAE 潜变量），数据处理管线更复杂

2.2 Tokenizer 选择的数据工程影响

Tokenizer 的选择对数据工程有三个直接影响：

（1）数据量需求。离散路线每张图像产生 256-1024 个 token，连续路线可压缩至 16 个 patch。这意味着在相同的总 token 预算下，连续路线可以”看”到更多图像。Chameleon 的 14 亿图文对产生了 1.5T 图像 token，如果使用 Emu3.5 的 IBQ（256 token/张），同样的图文对只产生约 375B 图像 token——节省 75% 的 token 预算。

（2）序列长度瓶颈。交错文档可能包含 5-10 张图像，如果每张图像 1024 token，一个文档就需要 5K-10K 的图像 token 加上文本 token，很容易超过上下文窗口。IBQ 的 256 token/张将这个压力降低到可控范围。

（3）质量标准。码本越大、压缩比越高，对输入图像的质量要求越高。Emu3.5 的 131K 码本能区分极细微的视觉差异，这意味着低质量图像（模糊、低分辨率、水印重）的”噪声”会被更精确地编码，反而可能伤害训练。高压缩 tokenizer 倒逼更严格的数据过滤。

2.3 趋势判断

行业正在收敛到 “大码本 + 高压缩 + 语义蒸馏” 的方向。具体而言：

  • 码本大小：从 8K 向 64K-131K 演进
  • 压缩策略：从 f=8 向 f=16 甚至更高演进
  • 语义增强：从纯像素重建向 SigLIP/CLIP 特征蒸馏演进
  • 混合方案：理解用连续语义编码，生成用离散/连续像素编码，兼顾两端

三、交错数据构建：核心燃料的工业级管线

3.1 为什么交错数据是”核心增量”

交错数据（Interleaved Multimodal Data）指的是在同一文档中图像和文本按自然顺序交替出现的数据形式——例如一篇带图的教程文章、一段带字幕的视频、一本教科书的一章。

交错数据之所以成为核心，是因为它提供了三种配对数据无法提供的学习信号：

（1）长程跨模态推理。在交错文档中，第 3 段文字可能解释第 1 张图片的含义，第 5 张图片可能是对前 4 段论述的视觉总结。模型必须跨越长距离理解图文之间的逻辑关系——这正是 Chain-of-Thought 在视觉领域的基础。BAGEL 论文中观察到的”涌现能力”——自由形式图像编辑、未来帧预测、3D 操作——都源于大规模交错数据训练 [Deng et al., 2025]。

（2）文档级理解。真实世界的信息不是以”一图一文”的形式存在的。一篇学术论文有图表、公式、正文的复杂交错；一个产品说明书有功能截图、步骤文字、注意事项的交错。只有在交错数据上训练，模型才能处理这些真实场景。

（3）时序因果性。视频交错数据（帧+ASR 转录按时间交错）让模型学习动作因果和场景变化。Emu3.5 论文指出，视频交错数据是模型习得”世界模型”能力的关键——理解物理世界中物体如何移动、场景如何变化 [BAAI, 2025]。

3.2 三种交错数据及其构建方案

3.2.1 网页交错数据（Web Interleaved Data）

数据源与规模：

数据集来源文档数图像数发布时间
OBELICSCommon Crawl1.41 亿文档3.53 亿图像2023
MMC4Common Crawl1.01 亿文档5.71 亿图像2023
OmniCorpusCommon Crawl + 其他330 亿文档86 亿图像2024 (ICLR 2025)

OmniCorpus [Li et al., ICLR 2025, arXiv:2406.08418] 是当前最大的开源交错数据集，由上海 AI Lab、哈工大、南大等联合构建。其规模是 OBELICS 的 200+ 倍，标志着交错数据从”稀缺资源”变为”基础设施”。

BAGEL 的网页交错数据构建方案 [Deng et al., 2025]：

OmniCorpus 网页文档（2000 万高质量子集）
    │
    ├── 1. 提取自然交错的图文序列
    │       → 保留 DOM 树中图文的原始排列顺序
    │
    ├── 2.「标题优先」策略（Caption-First）
    │       → 为每张图像生成简短描述（用 VLM），插入图像前
    │       → 作为"概念脚手架"帮助模型理解图像-文本关系
    │       → 类似于给学生看图前先读一句图片说明
    │
    ├── 3. 长文本压缩
    │       → 超过 300 token 的段落用 LLM 总结
    │       → 保留关键信息，降低序列长度
    │
    └── 4. 质量过滤
            → 图文相关性评估（CLIP Score 阈值）
            → 图像质量评估（分辨率、清晰度）
            → 文档结构完整性检查

“标题优先”策略的实验验证：BAGEL 论文的消融实验表明，在每张图片前插入简短描述后，模型在交错生成任务上的性能显著提升。这个看似简单的 trick 本质上是在数据层面降低了跨模态对齐的学习难度。

3.2.2 视频交错数据（Video Interleaved Data）

Emu3.5 的视频交错数据构建方案 [BAAI, arXiv:2510.26583, 2025]：

这是目前公开文献中最详细的视频交错数据工业级管线：

原始视频库（6300 万视频，平均时长约 6.5 分钟）
    │
    ├── 1. 视觉处理
    │       ├── PySceneDetect 场景分割
    │       │     → 检测视频中的镜头切换和场景变化
    │       │     → 将长视频切分为语义连贯的片段
    │       └── 关键帧提取（约 0.27 fps）
    │             → 每秒约 0.27 帧，即每 3.7 秒取一帧
    │             → 平衡信息密度和 token 预算
    │
    ├── 2. 音频处理
    │       ├── Whisper-large-v2 ASR 转录
    │       │     → 将语音自动转录为文本
    │       │     → 生成带时间戳的转录结果
    │       └── spaCy 文本后处理
    │             → 分句、清洗、去噪
    │             → 处理 ASR 常见错误（如同音字、断句错误）
    │
    ├── 3. 时间对齐整合
    │       → 按时间戳对齐关键帧与转录文本
    │       → 生成交错序列：[文本1][帧1][文本2][帧2]...
    │       → 确保图文的时序一致性
    │
    ├── 4. 基础过滤
    │       ├── 时长过滤（去除过短/过长）
    │       ├── 分辨率过滤（去除低分辨率）
    │       └── 说话人过滤（去除无语音/纯音乐）
    │
    └── 5. 高级过滤
            ├── DINO/CLIP 特征去重
            │     → 去除视觉上高度相似的帧
            ├── DeQA 图像质量评估
            │     → 模糊检测、曝光异常检测
            └── LLM 文本评分
                  → 评估转录文本的信息量和连贯性

规模数据：

  • 原始视频：6300 万个，平均 6.5 分钟
  • 等价连续影像：约 790 年
  • 在 Emu3.5 Stage 1 训练中占比：55%（视频+网页交错合计）

关键 insight：Emu3.5 团队发现，视频交错数据的价值不仅在于视觉内容本身，更在于 ASR 转录与视频帧之间的时序对应关系。这种时序对应让模型学会了”因果推断”——看到某个动作（帧）后预期出现什么描述（文本），反之亦然。这正是世界模型能力的基础。

3.2.3 图文配对数据（Image-Text Pairs）

虽然交错数据是核心增量，但配对数据仍然是不可或缺的基础设施：

数据集规模用途特点
LAION-5B58.5 亿对基础视觉-语言对齐规模最大，质量参差
DataComp12.8 亿对高质量配对数据注重数据质量和多样性
COYO-700M7 亿对补充数据韩国来源，覆盖亚洲语言
SA-1B11 亿掩码分割任务Meta SAM 数据

Chameleon 的配对数据使用 [Meta FAIR, 2024]：

  • 使用 14 亿文本-图像对，产生约 1.5T tokens
  • 所有图像调整并中心裁剪至 512×512
  • 为增强人脸生成，人脸图像采样比例上调 2×
  • 训练时采用旋转处理：50% 的时间图像在文本之前（从 text→image 变为 image→text），这使模型同时学习图像描述和图像生成两个方向

3.3 合成数据：质量放大器还是多样性陷阱？

3.3.1 Recaptioning：从 AltText 到高质量描述

互联网图文对的原始文本（AltText）通常质量很低——许多是文件名、无关描述或 SEO 垃圾。Recaptioning 指用大模型重新为图片生成高质量描述。

ICLR 2025 的关键发现 [Sun et al., arXiv:2405.xxxx]：

“AltText 提供数据多样性，合成 caption 提供更好的图文对齐——两者互补，单独使用任何一种都不是最优的。”

具体实验结论：

  1. 不同基座模型需要不同风格的 caption——并非一种 recaptioning 策略适用于所有模型
  2. 混合使用原始 AltText 和合成 caption 的效果最佳——纯合成 caption 虽然对齐度高，但损失了 AltText 中真实世界的多样性
  3. 最优混合比例取决于具体任务和模型

3.3.2 合成美学数据：Janus-Pro 的关键创新

Janus-Pro [DeepSeek, arXiv:2501.17811, 2025] 在数据侧最大的创新是引入 7200 万合成美学数据：

构建方案：

  • Prompt 来源：从 Midjourney 用户的公开 prompt 中提取高质量提示词
  • 图像生成：使用 T2I 模型（推测为 SDXL 或自研模型）生成高美学质量的图像
  • 真实:合成混合比例：1:1
  • 效果：
    • 收敛速度显著加快
    • 生成图像的稳定性大幅提升
    • 美学评分（Aesthetic Score）明显提高
    • GenEval 基准达到 0.78，显著优于前代 Janus

为什么合成美学数据如此有效？ 真实世界的图像数据美学分布高度偏斜——绝大多数图片是普通的手机照片和网页截图，高美学质量的图像只占极少数。直接用真实数据训练，模型会被这个偏斜分布”拉低”。合成美学数据相当于人工制造了一个美学质量的”上分样本池”，让模型学到更高的生成审美标准。

3.3.3 BAGEL 的推理增强数据

BAGEL 在 SFT 阶段引入了约 50 万条推理增强样本，这是一个被低估的创新：

类型构建方法规模目的
T2I 推理链短 query → LLM 推理链 → 详细 prompt → 生成图像~15 万让模型学会”想清楚再画”
图像编辑推理源图 + 目标图 → VLM 生成 R1 风格推理轨迹~20 万让模型理解编辑操作的逻辑
概念编辑推理多阶段 VLM 流程构建问题-推理-答案~15 万增强高层次概念推理

关键观察：BAGEL 团队发现，在大规模交错数据训练的基础上注入推理增强数据后，模型涌现出了之前没有的能力——自由形式图像编辑（不需要指定编辑区域）、未来帧预测（给出当前帧预测下一帧）、3D 操作（理解和操纵 3D 场景）。这些能力不是直接在训练数据中出现的，而是交错预训练 + 推理数据的组合涌现。

四、数据配比：从”经验调参”到”Scaling Law 驱动”

4.1 Apple 的 Scaling Law 研究：457 个模型的硬数据

Apple 的研究 [Shukor et al., ICCV 2025, arXiv:2504.07951] 是当前最系统性的原生多模态 Scaling Law 研究。他们训练了 457 个模型（参数量从 300M 到 3B，数据量从 250M 到 400B tokens），得出以下关键结论：

结论一：NMM 遵循类 LLM 的 Scaling Law

原生多模态模型的计算量-性能关系遵循 C ≈ 6ND 的经典关系（C 为计算 FLOPs，N 为参数量，D 为数据量），与纯文本 LLM 的 Chinchilla 定律结构一致。这意味着多模态数据建设可以借用成熟的 LLM 训练预算规划方法。

结论二：早期融合 ≥ 后期融合

在相同 FLOPs 预算下：

  • 早期融合模型的性能不低于后期融合模型
  • 在低参数量区间，早期融合性能更优
  • 早期融合的训练效率更高、部署更简单
  • 后期融合（依赖图像编码器连接 LLM）没有固有优势

这个结论直接推翻了”后期融合可以复用成熟 LLM”的直觉——事实上，从零开始在所有模态上训练可能是更优的选择。

结论三：数据混合比例具有”鲁棒性”

研究发现，在一定范围内，不同的数据混合比例表现出相似的缩放趋势——没有唯一的”黄金比例”。这意味着数据配比的调优空间比预想的更宽容，不需要极其精确地命中某个最优点。

结论四：MoE 架构下 token 数 > 参数量

在 Mixture of Experts 架构下，扩展训练 token 数量比扩展参数量更重要。这与 MoE 的稀疏激活特性一致——每次推理只激活部分参数，但每个 token 都会贡献梯度更新。

结论五：N 和 D 应等比例扩展

论文建议参数量 N 和训练数据量 D 等比例扩展——翻倍参数量时，训练数据量也应翻倍。

4.2 各模型的实际数据配比详解

Chameleon（Meta FAIR）的两阶段配比

阶段纯文本图文配对交错数据总量说明
阶段一（前 80% tokens）2.9T1.5T（14 亿对）400B~4.8T/阶段大规模无监督，LLaMA-2 + CodeLLaMA 文本语料
阶段二（后 20% tokens）权重↓50%权重↓50%权重↓50% + 高质量数据~4.4T阶段一数据降权 + 混入更高质量数据集 + SFT 数据子集
总计---~9.2T（2.1 epoch）-

关键细节：

  • 纯文本占绝对主导（~60%），交错数据仅占约 8%——这是第一代原生多模态模型的特征，交错数据的比重还很低
  • 阶段二的”质量退火”策略后来被 Emu3.5 和 BAGEL 广泛采用
  • SFT 对齐数据具体分布：文本 160 万 + 代码 1.4 万 + Visual Chat 1.56 万 + 图像生成 6.43 万 + 交错生成 1.69 万 + 安全 9.53 万

Emu3.5（BAAI）的两阶段配比

阶段纯文本图文配对交错数据（含视频）视频专项X2I总量
Stage 120%20%55%（视频+网页交错）5%0%10T
Stage 218%16%55%8%↑3%3.5T

关键 insight：

  • 交错数据直接占据 55%——这是一个革命性的比例，比 Chameleon 的 8% 高出近 7 倍
  • Stage 2 视频比例从 5% 提升到 8%，X2I（图像生成）数据从 0% 引入到 3%——后期逐步强化生成能力
  • 总训练量 13.5T tokens（10T + 3.5T），是 Chameleon 的 1.5 倍

BAGEL（ByteDance Seed）的预训练+中训练配比

数据类型预训练阶段规模中训练阶段变化说明
文本数据400M 样本保持Qwen2.5-7B-Instruct 初始化
图文配对（理解）500M 对保持含 OCR、图表、文档
图文配对（生成）1600M 对保持含合成美学数据
网页交错20M 文档比例提升OmniCorpus 子集 + 标题优先
视频交错45M 视频比例提升教育/科技/How-to
总 Token~2.5T~2.6T预训练 + 中训练合计 ~5.1T

关键消融实验发现：

  1. 增加生成数据采样比例（1:1 → 4:1） 可以稳定降低生成损失（MSE），而对理解损失（CE）影响很小——生成和理解在数据层面的竞争比想象中小
  2. 中训练阶段策略性提高交错数据比例 显著增强跨模态推理
  3. 视频和导航数据的比例应在中训练后期逐步增加 以增强世界建模能力

InternVL3（OpenGVLab / 上海 AI Lab）的”反直觉”配比

InternVL3 [Zhu et al., arXiv:2504.10479, 2025] 的数据策略最大亮点是用原生多模态预训练反超纯语言基座：

数据类型Token 数占比
多模态数据1500 亿75%
纯文本数据500 亿25%
合计2000 亿100%

反直觉的实验结论：

InternVL3 在纯语言基准测试中始终优于其 LLM 组件初始化来源 Qwen2.5 Chat，具体数据：

模型对比MMLUGSM8KHumanEval
InternVL3-1B vs Qwen2.5-0.5B Chat49.8 vs 46.447.2 vs 39.0-
InternVL3-2B vs Qwen2.5-1.5B Chat64.8 vs 61.872.5 vs 61.662.8 vs 51.8
InternVL3-8B vs Qwen2.5-7B Chat77.3 vs 74.283.1 vs 80.178.1 vs 82.3
InternVL3-78B vs Qwen2.5-72B Chat整体 80.5 vs 78.989.7 vs 88.2-

这说明什么？ 将 25% 的纯文本数据与 75% 的多模态数据混合进行原生预训练，不仅没有损害语言能力，反而增强了。InternVL3 团队的解释是：多模态数据中的文本（图文描述、视频转录、文档文本）提供了额外的语言训练信号，而视觉信息作为”grounding”帮助模型更好地理解语言含义。

关键技术决策：

  • 所有模型参数（ViT、MLP、LLM）在原生预训练阶段全部联合更新，不冻结任何组件
  • 损失函数仅计算在文本 token 上（“文本优先”自回归目标），视觉 token 作为上下文条件
  • 采用两阶段比例确定法：先分别在多模态和纯文本数据上训练评估，再组合寻找最优比例

4.3 数据配比的”三阶段递进”模式

综合所有模型的实践，可以提炼出一个通用的三阶段递进模式：

阶段一（基础预训练，60-70% 总 FLOPs）
┌──────────────────────────────────────────────────┐
│ 交错数据（视频+网页）│ 纯文本 │ 图文配对 │ 视频配对 │
│      45-55%         │ 20-30% │  15-20% │  5-10% │
└──────────────────────────────────────────────────┘
  低分辨率（512²），大规模，建立跨模态基础对齐

阶段二（质量退火 / 中训练，25-30% 总 FLOPs）
┌──────────────────────────────────────────────────────┐
│ 交错数据（视频+网页）│ 纯文本 │ 图文配对 │ 视频 │ 生成专项 │
│      50-55%         │ 15-20% │  10-16% │ 8%↑ │   3-5%  │
└──────────────────────────────────────────────────────┘
  动态分辨率（512²-1024²），引入高质量数据
  阶段一数据权重降低 50%，混入高质量子集

阶段三（SFT / 能力强化，5-10% 总 FLOPs）
┌──────────────────────────────────────────────────────┐
│ 理解 SFT │ 生成 SFT │ 交错数据 │ 推理增强 │ 世界建模 │
│   25%    │   30%   │   25%   │   10%  │   10%  │
└──────────────────────────────────────────────────────┘
  高分辨率，高质量，任务特化

五、各模型方案的深度对比与技术分析

5.1 技术路线矩阵

维度ChameleonTransfusionEmu3/3.5Janus-ProInternVL3BAGEL
融合方式早期融合早期融合早期融合解耦双编码桥接→原生MoT 双专家
训练目标纯 ARAR + Diffusion纯 AR + DiDAARAR（文本优先）AR + Rectified Flow
图像表示离散 8K 码本连续 patch离散→IBQ 131K双编码器连续 ViTSigLIP2 + VAE
理解/生成统一统一统一解耦统一理解为主统一
交错数据量400B tokens混合序列>5.5T tokens❌ 配对为主少量~2.5T tokens
总训练量9.2T2T>13T10 亿样本2000 亿5.1T
参数量7B/34B0.16B-7B8B/未知1B/7B1B-78B7B(14B)

5.2 深度分析：每条路线的独特洞察

5.2.1 Meta 路线（Chameleon → Transfusion）：理论纯粹性 vs 工程可行性

Chameleon 的历史贡献：作为第一个万亿级 Early-Fusion 模型，Chameleon 证明了三件事：

  1. 所有模态可以统一到离散 token 空间训练
  2. 交错数据（即使只有 400B）已经能教会模型跨模态推理
  3. 多模态训练不会”毁掉”语言能力——Chameleon 在纯文本基准上甚至优于 LLaMA-2

Transfusion 的理论突破：Transfusion 走了一条完全不同的路——不量化图像，保持连续表示，用不同的损失函数处理不同模态。其核心实验发现是：

“在相同参数量和训练 FLOPs 下，连续图像表示（Diffusion 损失）的扩展性显著优于离散量化表示（AR 损失）。”

将图像压缩到 16 patches 的实验尤其关键——这意味着一张图像只占 16 个 token 的位置，极大释放了交错文档的上下文预算。

这条路线的核心矛盾：Chameleon 追求统一（所有东西都是离散 token + AR 损失），而 Transfusion 追求各模态的最优解（文本用 AR、图像用 Diffusion）。后者效果更好，但架构和训练更复杂。行业正在向 Transfusion 的方向靠拢。

5.2.2 BAAI 路线（Emu3 → Emu3.5）：纯 NTP 的极致与 Tokenizer 革命

Emu3 的标志性意义：纯 Next-Token Prediction 登顶 Nature [BAAI, Nature 2026]，证明”预测下一个 token”这个极简目标可以统一多模态理解和生成。

Emu3.5 的三个关键进化：

  1. IBQ Tokenizer 革命：从 8K 码本升级到 131K，下采样因子从 f=8 到 f=16。这不仅是数字的变化，而是根本性地改变了数据经济学——同样的 token 预算下可以处理 4 倍的图像数据。

  2. 视频交错数据成为主力燃料：55% 的训练数据来自视频交错，等价于 790 年连续影像。这使 Emu3.5 习得了”世界模型”能力——不仅能理解和生成静态图像，还能预测和生成时序连贯的视频。

  3. DiDA 推理加速：将逐 token 生成转化为双向并行预测，推理速度提升 20×。这解决了离散 token 路线最大的工程痛点——生成一张 1024-token 的图像不再需要 1024 步自回归。

这条路线的核心洞察：Tokenizer 的质量决定了整条数据管线的效率上限。IBQ 的 131K 码本 + SigLIP 蒸馏让离散路线第一次在信息保真度上接近连续路线，同时保留了纯 AR 训练的简洁性。

5.2.3 DeepSeek 路线（Janus → Janus-Pro）：小成本高收益的务实方案

Janus-Pro 的独特价值在于它证明了：即使不做大规模交错预训练，通过精心设计的数据策略也能达到有竞争力的效果。

具体而言：

  • 没有使用交错数据，主要依赖配对数据
  • 通过 7200 万合成美学数据 + Midjourney prompt 大幅提升生成质量
  • 通过双编码器解耦避免理解-生成冲突
  • 7B 模型在 GenEval 上达到 0.78，在 MMBench 上达到 73.2%

三阶段训练的数据设计：

  1. 阶段一（视觉编码器对齐）：冻结 LLM，只训练适配器，使用理解配对数据
  2. 阶段二（统一预训练）：全参数更新，混合理解 + 生成配对数据
  3. 阶段三（指令微调）：高质量 SFT 数据，包含复杂推理任务

适用场景：资源有限但追求快速落地的团队。核心 insight 是——合成数据的 ROI 极高，7200 万合成美学数据的成本远低于构建 10T 级交错数据管线。

5.2.4 ByteDance 路线（BAGEL）：涌现能力的数据基础

BAGEL 最令人印象深刻的不是它的架构，而是它的涌现能力——自由形式图像编辑、未来帧预测、3D 操作、世界导航——这些能力从未直接出现在训练数据中。

BAGEL 团队将这些涌现归因于三个数据因素：

  1. 大规模交错数据（5.1T tokens）提供了跨模态推理的基础
  2. “标题优先”策略降低了交错数据的学习难度，让模型更高效地利用每个交错样本
  3. 推理增强数据（50 万条）在 SFT 阶段注入了推理链能力

MoT 双专家架构的数据处理影响：由于理解专家和生成专家通过共享自注意力交互，同一个训练样本中的文本、理解视觉特征、生成视觉潜变量同时参与注意力计算。这意味着数据处理管线需要同时产出三种信号——更复杂的管线，但更丰富的学习信号。

5.2.5 OpenGVLab 路线（InternVL3）：平滑过渡的工程智慧

InternVL3 的策略是”不革命，但要革新”——它没有从零训练原生多模态模型，而是在现有 VLM 框架中引入原生预训练理念。

核心创新——Variable Visual Position Encoding (V2PE)：

  • 传统 MLLM 中，文本和视觉 token 共享同一套位置编码，每个 token 递增 1
  • V2PE 让视觉 token 使用更小的位置增量 δ < 1（从 {1, 1/2, 1/4, …, 1/256} 中随机选择）
  • 效果：视觉 token 在位置空间中”挤得更紧”，使模型能处理更长的多模态上下文
  • 数据影响：V2PE 解锁了单样本中包含更多图像的能力，使得交错数据的训练更高效

适用场景：已有成熟 VLM 管线、想渐进式引入原生多模态能力的团队。InternVL3 证明了不需要从头训练也能获得原生多模态预训练的收益。

5.3 方案选择决策树

你的场景是什么？
    │
    ├── "从零构建，追求极致统一性"
    │       → Emu3.5 路线：纯 AR + IBQ + 大规模交错
    │       → 数据投入：10T+ tokens，55%+ 交错数据
    │       → 最低门槛：~2000 GPU-days（8B 规模）
    │
    ├── "追求生成质量最优"
    │       → Transfusion / BAGEL 路线：AR + Diffusion/Flow
    │       → 数据投入：2-5T tokens，混合配对+交错
    │       → 需要分别处理离散和连续数据管线
    │
    ├── "快速落地，资源有限"
    │       → Janus-Pro 路线：双编码器 + 合成数据
    │       → 数据投入：10 亿样本（主要是配对）+ 7200 万合成
    │       → 最低门槛：~200 GPU-days（7B 规模）
    │
    └── "有现成 VLM，想渐进升级"
            → InternVL3 路线：原生预训练注入
            → 数据投入：2000 亿 tokens（75% 多模态 + 25% 文本）
            → 可以复用现有数据管线，增量投入纯文本

六、数据质量工程：新维度的过滤与评估

6.1 传统质量指标的局限

传统图文配对数据的质量评估主要依赖：

  • CLIP Score：图文对齐度
  • ImageReward：人类审美偏好
  • 去重：基于 DINO/CLIP 特征的近似去重
  • 基础过滤：分辨率、文件大小、NSFW 检测

但这些指标对交错数据几乎无用——CLIP Score 只能评估单张图片和单段文字的对齐度，无法评估一个包含 5 张图片和 8 段文字的文档中图文关系的连贯性和因果性。

6.2 原生多模态时代的新质量维度

维度说明为什么重要评估方法现状
交错连贯性文档中图文交替出现时的逻辑连贯不连贯的交错数据会教会模型”随机插图”CoMM 多角度策略；尚无统一指标
跨模态因果性图片是否真正与上下文有因果关系无因果关系的图文组合=噪声LLM 打分 + 人工抽检；成本高
时序一致性视频帧间变化是否连贯帧间跳变大的视频破坏时序学习运动分数过滤 + 场景检测
文档结构完整性网页交错数据的结构是否完整截断的网页丢失上下文DOM 树分析；规则化过滤
多模态推理质量交错数据是否支持推理学习低推理质量的数据只教”记忆”不教”思考”人工构建 + VLM 评估

6.3 UniFilter：EMNLP 2025 的统一方案

UniFilter [Wang et al., EMNLP 2025 Findings] 是目前最接近”统一多模态质量分类器”的方案：

方法：

  1. 使用半合成方法生成训练数据——对原始图像用不同质量的 caption 生成器生成 4 个等级的文本
  2. 训练一个统一分类器，同时评估 caption 数据和 interleaved document 数据
  3. 从 DataComp 和 OBELICS 中筛选出高质量子集

效果：

  • 从 OBELICS 中筛选出 OBELICS-HQ 子集
  • 使用 OBELICS-HQ 训练的 MLLM 在理解基准上显著优于使用完整 OBELICS 训练的模型
  • 用更少的数据训练出更好的模型——验证了质量 > 数量的原则

6.4 Chameleon 的安全数据工程

Chameleon 在安全过滤方面的投入值得详细记录 [Meta FAIR, 2024]：

预训练阶段：

  • 对所有图像应用与 T2I 数据相同的过滤标准
  • 使用授权图像训练 VQ-VAE tokenizer

对齐阶段：

  • 专门构建 95,300 条安全数据
  • 覆盖：暴力、受控物质、隐私、色情内容等敏感话题
  • 来源包括：
    • LLaMA-2-Chat 生成的拒绝回复
    • Rainbow Teaming 生成的合成对抗文本
    • Pick-A-Pic 的安全测试提示
    • 内部收集的多模态安全提示

测试结果：

  • 20,000 个众包提示中，仅 0.1% 被标记为不安全
  • 445 次红队交互中，1.6% 被标记为不安全

这套安全数据工程的核心 insight：交错多模态模型的安全风险比传统 LLM 更高——因为图文组合可以产生新的有害模式（单独看文本和图片都无害，但组合后有害）。安全数据需要专门为多模态场景设计。

七、中训练（Mid-Training）：从粗到精的关键转折

7.1 中训练在原生多模态中的角色重定义

传统多模态的”中训练”指在 LLM 预训练后、SFT 前注入视觉能力。原生多模态的中训练角色完全不同：

旧范式：LLM 预训练 → [中训练：弥合模态鸿沟] → SFT
新范式：原生多模态预训练 → [中训练：质量退火 + 分辨率递进 + 能力强化] → SFT

中训练的三个核心任务：

7.2 质量退火（Quality Annealing）

以 Chameleon 的方案为例：

  • 前 80% token：大规模无监督数据
  • 后 20% token：
    • 阶段一数据权重降低 50%
    • 混入更高质量的数据集
    • 额外混入经过过滤的 SFT 数据子集
    • 保持类似的图文 token 比例

为什么有效？ 大规模低质量数据提供了分布覆盖（diversity），高质量数据提供了精度（precision）。先 diversity 再 precision 的顺序是最优的——反过来会导致模型过拟合到高质量数据的窄分布上。

7.3 分辨率递进

阶段分辨率视觉 Token 数适用模型
预训练 Stage 1512×512256-1024Emu3.5, BAGEL
中训练 Stage 2512-1024 动态1024-4096Emu3.5, BAGEL
SFT最高 1024×1024最高 4096所有模型

为什么不一开始就用高分辨率？ 成本和效率。512² 分辨率下的 token 数量只有 1024² 的 1/4，但语义学习信号（图文对应关系、交错逻辑）在低分辨率下同样有效。先在低分辨率下学习语义，再在高分辨率下学习细节——分离语义学习和细节学习。

7.4 Recaptioning 的最佳实践

综合多个模型的经验，Recaptioning 在中训练阶段的最佳实践：

原始图文数据
    │
    ├── 保留原始 AltText（提供多样性）
    │       → 即使质量低，AltText 的多样性有独立价值
    │
    ├── VLM 重标注（生成详细描述）
    │       → 推荐：Qwen2.5-VL-7B 或同等级别
    │       → 生成风格要匹配目标模型的训练目标
    │
    ├── 可选：T2I 模型生成合成图像
    │       → 使用高美学 prompt 生成
    │       → Janus-Pro 证明真实:合成 = 1:1 最优
    │
    └── 混合策略
            → 原始 AltText + VLM 重标注 + 合成 = 1:1:1 或 2:1:1
            → 具体比例需根据任务消融确定

八、推荐方案：可落地的数据建设蓝图

8.1 整体架构

┌─────────────────────────────────────────────────────────────┐
│                     数据基础设施层                              │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐    │
│  │ 纯文本    │  │ 图文配对  │  │ 网页交错  │  │ 视频交错  │    │
│  │ 2-3T tok │  │ 10-16亿对│  │ 1亿+文档  │  │ 5000万+  │    │
│  └──────────┘  └──────────┘  └──────────┘  └──────────┘    │
│                         ↓                                    │
│           统一 Tokenizer（高压缩比 + 语义蒸馏）                  │
│                         ↓                                    │
│  ┌───────────────────────────────────────────────────────┐  │
│  │              统一质量过滤层                              │  │
│  │  CLIP Score │ 美学评分 │ 交错连贯性 │ 时序一致性 │ UniFilter│  │
│  └───────────────────────────────────────────────────────┘  │
│                         ↓                                    │
│  ┌───────────────────────────────────────────────────────┐  │
│  │               动态数据混合引擎                           │  │
│  │  按训练阶段自动调整各类数据采样权重                       │  │
│  │  支持多阶段配比切换和分辨率递进                           │  │
│  └───────────────────────────────────────────────────────┘  │
│                         ↓                                    │
│  ┌───────────────────────────────────────────────────────┐  │
│  │               质量数据金字塔                             │  │
│  │         ┌─────────────┐                                │  │
│  │         │  推理增强     │  50-100 万条                   │  │
│  │         ├─────────────┤                                │  │
│  │         │  SFT 高质量  │  2000 万+                      │  │
│  │         ├─────────────┤                                │  │
│  │         │  Recaptioned│  10 亿+                         │  │
│  │         ├─────────────┤                                │  │
│  │         │  交错 / 配对 │  100 亿+ tokens                │  │
│  │         └─────────────┘                                │  │
│  └───────────────────────────────────────────────────────┘  │
└─────────────────────────────────────────────────────────────┘

8.2 关键决策点与推荐

决策点推荐选择理由支撑证据
融合方式早期融合参数效率更高，部署更简单Apple ICCV 2025：457 模型实验
训练目标AR + Flow/Diffusion 混合连续图像表示质量更高Transfusion ICLR 2025；BAGEL 2025
交错数据占比≥50%核心经验一致Emu3.5（55%）；BAGEL 消融实验
Tokenizer大码本 + 高压缩 + 语义蒸馏4× 数据效率提升Emu3.5 IBQ（131K + SigLIP）
合成数据策略真实:合成 = 1:1经验验证最优Janus-Pro 7200 万合成美学数据
质量过滤统一多模态分类器同时评估配对和交错数据UniFilter EMNLP 2025
视频数据必须纳入世界模型能力的关键Emu3.5 视频交错 = 790 年影像
文本:多模态比例1:3反超纯语言基座InternVL3 2000 亿实验

九、关键风险、未解问题与前沿方向

9.1 数据工程的硬挑战

（1）交错数据质量评估缺少自动化指标。目前没有像 CLIP Score 那样成熟的自动指标来评估交错序列的质量。UniFilter 是一个起步，但距离工业级应用还有距离。这可能是当前最大的数据工程瓶颈——没有好的评估指标，就无法大规模自动化过滤。

（2）视频数据处理成本极高。以 Emu3.5 的 6300 万视频为例：PySceneDetect 场景分割 + Whisper ASR 转录 + 关键帧提取 + 质量过滤，仅数据处理就需要数千 GPU-hours 的计算量，还不算存储和传输成本。

（3）Tokenizer-Model 的耦合风险。Visual Tokenizer 的质量直接决定模型上限，但 Tokenizer 本身也需要大量数据训练。如果 Tokenizer 训练得不好，后续所有数据处理和模型训练都会被”毒化”。这是一个典型的”先有鸡还是先有蛋”问题。

（4）数据配比超参的搜索空间巨大。尽管 Apple 的 Scaling Law 表明配比具有”鲁棒性”，但不同数据源、不同训练阶段、不同目标任务的组合爆炸使得消融实验成本仍然极高。457 个模型的实验已经很大，但仍远未穷尽搜索空间。

9.2 理论层面的未解问题

（1）理解-生成竞争的本质。在统一模型中，理解和生成是否真的”竞争”？BAGEL 的消融实验表明竞争比想象中小（增加生成数据对理解影响很小），但 Janus-Pro 仍然选择双编码器解耦——哪种判断更接近真相？目前没有严格的理论框架来回答这个问题。

（2）离散 vs 连续的终局。Chameleon/Emu3 选离散，Transfusion 选连续，BAGEL 选混合。离散路线通过 IBQ 在缩小差距，连续路线通过更好的压缩在降低成本。两条路线可能最终收敛到同一个点，但目前胜负未分。

（3）交错数据的边际收益曲线。交错数据从 8%（Chameleon）到 55%（Emu3.5）带来了巨大提升，但继续增加到 70%、80% 是否还有收益？是否存在”交错数据饱和点”？现有 Scaling Law 研究主要针对总量，交错数据的边际收益曲线尚待研究。

（4）跨模态推理能力的涌现条件。BAGEL 观察到涌现能力，但无法精确说明是哪些数据、多少数据触发了涌现。类比 LLM 的 CoT 涌现，跨模态推理的涌现条件可能需要新的理论框架来解释。

9.3 合规与安全的特殊挑战

（1）交错数据版权问题。网页交错数据来自 Common Crawl，面临与文本语料类似但更复杂的版权风险——因为涉及图文组合，不仅文本可能有版权，图片也可能有版权，而且两者的版权持有人可能不同。

（2）视频数据的使用权限。公开视频的使用权限需要逐一确认。YouTube 的 ToS 明确禁止用于模型训练，这使得视频交错数据的合规来源非常有限。

（3）合成数据的”模型塌缩”风险。Janus-Pro 用合成数据获得了好效果，但过度依赖合成数据（尤其是同一个模型生成的合成数据）可能导致多样性下降和分布退化。这在文本领域已有先例 [Shumailov et al., Nature 2024]。

（4）多模态组合的新型安全风险。Chameleon 的安全数据工程表明，图文组合可以产生单模态数据中不存在的有害内容模式。原生多模态模型需要全新的多模态安全评估框架。

十、总结与行动建议

10.1 五个核心结论

  1. 交错数据是新石油。从 Chameleon 的 8% 到 Emu3.5 的 55%，交错数据已从”补充数据”跃升为”核心燃料”。构建高质量交错数据管线是原生多模态时代数据建设的第一性原理。

  2. Tokenizer 决定数据经济学。Emu3.5 的 IBQ（131K 码本 + f=16 + SigLIP 蒸馏）将同分辨率图像的 token 数量降至 Chameleon 的 1/4。投资 Tokenizer 的回报率远高于单纯扩大数据规模。

  3. 原生预训练不会损害语言能力，反而增强。InternVL3 用 75% 多模态 + 25% 文本的原生预训练反超 Qwen2.5 纯语言基座。多模态数据中的文本信号和视觉 grounding 对语言理解有正向迁移。

  4. 合成数据是高 ROI 杠杆。Janus-Pro 的 7200 万合成美学数据 + BAGEL 的 50 万条推理增强数据，以极低成本带来了显著能力提升。数据建设不能只看”采集”，还要看”合成”。

  5. 动态配比是必需品。没有固定的”黄金比例”——阶段一重交错和多样性（55% 交错，低分辨率），阶段二重质量和精度（退火+高分辨率），阶段三重任务特化（SFT+推理增强）。数据配比引擎和训练调度器同等重要。

10.2 行动优先级

优先级行动项预期影响投入估算
P0构建/选择高压缩率 Visual Tokenizer决定整条管线的效率上限2-4 周工程 + 消融实验
P0网页交错数据管线（OmniCorpus 子集）提供核心训练燃料1-2 周数据工程
P1视频交错数据管线（PySceneDetect + Whisper）解锁世界模型能力2-4 周 + GPU 计算
P1合成美学数据构建高 ROI 生成质量提升1 周 + T2I 推理成本
P2统一质量过滤器（UniFilter 方向）自动化数据质量控制2-3 周研发
P2推理增强数据构建解锁涌现能力1-2 周 + VLM 推理成本
P3多模态安全评估框架合规与安全保障持续投入

参考文献

核心模型论文

  1. Chameleon Team. “Chameleon: Mixed-Modal Early-Fusion Foundation Models.” arXiv:2405.09818, 2024.
  2. Zhou et al. “Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model.” arXiv:2408.11039, 2024. (ICLR 2025)
  3. Wang et al. “Emu3: Next-Token Prediction is All You Need.” arXiv:2409.18869, 2024. (Nature 2026)
  4. BAAI. “Emu3.5: Native Multimodal Models are World Learners.” arXiv:2510.26583, 2025.
  5. Chen et al. “Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling.” arXiv:2501.17811, 2025.
  6. Zhu et al. “InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models.” arXiv:2504.10479, 2025.
  7. Deng et al. “BAGEL: Emerging Properties in Unified Multimodal Pretraining.” arXiv:2505.14683, 2025.

Scaling Law 与数据配比

  1. Shukor et al. “Scaling Laws for Native Multimodal Models.” ICCV 2025. arXiv:2504.07951.
  2. Shukor et al. “Scaling Laws for Optimal Data Mixtures.” arXiv:2507.09404, 2025.
  3. Hoffmann et al. “Training Compute-Optimal Large Language Models.” (Chinchilla) NeurIPS 2022.

数据集与数据质量

  1. Li et al. “OmniCorpus: A Unified Multimodal Corpus of 10 Billion-Level Images Interleaved with Text.” ICLR 2025. arXiv:2406.08418.
  2. Laurençon et al. “OBELICS: An Open Web-Scale Filtered Dataset of Interleaved Image-Text Documents.” NeurIPS 2023.
  3. Zhu et al. “MMC4: Multimodal C4.” 2023.
  4. Wang et al. “Train a Unified Multimodal Data Quality Classifier with Synthetic Data.” (UniFilter) EMNLP 2025 Findings.
  5. Sun et al. “Revisit Large-Scale Image-Caption Data in Pre-training Multimodal Foundation Models.” ICLR 2025.

综述

  1. Zhang et al. “Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities.” arXiv:2505.02567, 2025 (v6, 2026.01 updated).
  2. TechRxiv Survey. “A Survey of Unified Multimodal Understanding and Generation: Advances and Challenges.” 2025.

相关技术

  1. Liu et al. “Visual Instruction Tuning.” (LLaVA) NeurIPS 2023.
  2. Chen et al. “InternVL: Scaling Up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks.” CVPR 2024.
  3. Bai et al. “QWen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond.” 2023.
  4. Gafni et al. “Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors.” ECCV 2022.
  5. Shumailov et al. “AI models collapse when trained on recursively generated data.” Nature, 2024.

数据工程工具与方法

  1. PySceneDetect: Open-source scene detection for video analysis. https://github.com/Breakthrough/PySceneDetect
  2. Radford et al. “Robust Speech Recognition via Large-Scale Weak Supervision.” (Whisper) ICML 2023.
  3. Caron et al. “Emerging Properties in Self-Supervised Vision Transformers.” (DINO) ICCV 2021.
  4. Zhai et al. “Sigmoid Loss for Language Image Pre-Training.” (SigLIP) ICCV 2023.
  5. Schuhmann et al. “LAION-5B: An Open Large-Scale Dataset for Training Next Generation Image-Text Models.” NeurIPS 2022.
  6. Gadre et al. “DataComp: In Search of the Next Generation of Multimodal Datasets.” NeurIPS 2023.

关联内容

研究 🔗 相关
多模态模型预训练数据全景：从组合式到原生多模态
系统梳理多模态大模型的预训练数据体系：组合式多模态（LLaVA 范式）vs 原生多模态（Chameleon/Gemini/Llama 4 范式）的架构差异、训练阶段、数据类型与配比、Scaling Law，以及关于原生多模态训练的实操建议。
研究 🔗 相关
Beyond Language Modeling 精读：Meta 用受控实验揭示多模态预训练的四大定律
Yann LeCun & Saining Xie 领衔 21 位研究者，从零开始训练统一多模态模型，发现 RAE 统一视觉表示、视觉-语言协同效应、世界建模涌现、MoE 调和扩展不对称性四大关键洞察
书籍 ⬆️ 前置
多模态大模型
从文本到视觉到语音——理解和生成多种模态的统一架构