多模态预训练数据工程：当训练数据从文本扩展到图像、视频和交错序列，数据策展的规则正在被重写
系统解读多模态预训练数据工程的全景——从 CLIP score 过滤到 Data Filtering Networks 的范式跃迁、从图文对到交错文档的数据形态演进、原生多模态模型的数据配比 Scaling Laws、以及视觉 token 化对数据管线的根本重塑
本期主题：当数据工程遇到多模态——一切规则都在被重写
前 18 期我们系统走完了纯文本预训练数据工程的几乎所有环节。但一个越来越无法回避的现实是：2025-2026 年的前沿模型已经不再是纯文本的。 GPT-4o、Gemini 2.0、Emu3、Chameleon——它们从预训练阶段就在同时消化文本、图像、视频，甚至动作序列。
这意味着什么？意味着我们在前 18 期建立的几乎所有直觉——去重策略、质量评估、配比优化、Scaling Laws——在多模态场景下都需要重新审视。
几个直觉性的差异：
- 文本去重用 MinHash，图文对去重用什么？ CLIP embedding 空间的语义去重？还是图像 perceptual hash + 文本 n-gram 的联合去重？
- 文本质量用 perplexity，图文对质量用什么？ CLIP score？但 CLIP score 只衡量对齐度，不衡量信息密度。一张白底黑字的”cat”图片和一张猫的自然照片，CLIP score 可能一样高。
- 文本配比有 Data Mixing Laws，多模态配比呢？ 图文对、交错文档、纯文本三种数据形态怎么混合？视觉比语言更”数据饥饿”——这个结论对管线设计意味着什么？
多模态预训练数据工程 vs 纯文本数据工程：
纯文本 多模态
─────────────────────────────────────────────────────────
数据形态 连续文本 图文对 + 交错文档 + 视频 + 纯文本
（至少 4 种形态共存）
质量信号 perplexity / 分类器 CLIP score → DFN → MLM-Filter
（从对齐度到语义质量的跃迁）
去重维度 文本 n-gram / MinHash 图像 hash + 文本 hash + 跨模态
（维度爆炸）
配比复杂度 N 个文本域 N 个文本域 × M 种模态形态
（组合空间指数增长）
Scaling Laws loss ∝ N^α · D^β 视觉 vs 语言不对称扩展
（视觉更数据饥饿）
Token 化 BPE / 字节级 文本 BPE + 视觉离散 token
（码本设计成为新变量）本期将沿着四条主线展开：数据形态的演进（从图文对到交错文档）、质量过滤的范式跃迁（从 CLIP score 到学习型过滤器）、配比与 Scaling Laws（多模态特有的扩展不对称性）、原生多模态架构对数据管线的反向重塑。
一、数据形态的演进：从图文对到交错文档，再到教学视频
1.1 三种多模态数据形态
多模态预训练数据并非铁板一块。当前主流的数据形态至少有三种，它们在训练中扮演截然不同的角色：
| 数据形态 | 典型数据集 | 规模量级 | 训练信号 | 核心能力 |
|---|---|---|---|---|
| 图文对 | LAION-5B, DataComp, DFN-5B | 数十亿对 | 对比学习 (CLIP) / 图像描述 | 视觉-语言对齐 |
| 交错图文文档 | OBELICS, MINT-1T, OmniCorpus | 万亿 token | 自回归 next-token | 上下文推理、多图理解 |
| 纯文本 | FineWeb, DCLM, RedPajama | 万亿 token | 自回归 next-token | 语言能力基座 |
Apple MM1 团队（2024）在大规模消融实验中给出了一个关键结论：三种数据形态缺一不可。 单独使用图文对能获得强对齐能力但缺乏推理，单独使用交错数据能获得上下文理解但对齐较弱，纯文本则是语言能力的基座。三者的精心混合才能产出全面的多模态模型。
1.2 交错数据的质量困境
交错图文数据的核心来源是网页——HTML 文档天然包含交错排列的文本和图像。但网页数据的质量问题远比纯文本严重：
OBELICS（HuggingFace, 2023）是第一个大规模开源交错数据集（1.41 亿网页文档），但很快暴露出三个系统性问题：
- 图文关联松散：大量图片是广告、装饰图、导航图标，与正文内容无关
- 知识密度低：网页中大量是模板化内容（页眉页脚、侧边栏推荐）
- 图像序列不连贯：同一文档中的多张图片之间缺乏叙事逻辑
1.3 MINT-1T：10 倍规模的开源交错数据
MINT-1T（Salesforce + 华盛顿大学, NeurIPS 2024 D&B Track）将开源交错多模态数据的规模推到了新高度：
- 1 万亿文本 token + 34 亿张图像
- 相比 OBELICS 规模扩大 10 倍
- 首次引入 PDF 文档和 ArXiv 论文 作为交错数据源
MINT-1T 的核心工程贡献不在于过滤有多精细，而在于证明了规模扩展本身是可行的——团队公开了完整的数据策展管线和代码。实验表明，在 MINT-1T 上训练的 LMM 性能可以媲美在 OBELICS 上训练的模型，同时提供了远大于后者的规模弹性。
1.4 OmniCorpus：百亿级别的交错数据
OmniCorpus（上海 AI 实验室 + 哈工大 + 南大 + 复旦, 2024）更进一步，构建了迄今最大的多模态数据集：
- 86 亿张图像 + 1,696 亿文本 token
- 数据来源覆盖多种语言和领域
- 提供了精细的质量分级和过滤管线
1.5 Multimodal Textbook：教学视频作为新数据源
上述数据集本质上都是”从网页中抢救”——起点是嘈杂的互联网数据，通过各种过滤手段提纯。Multimodal Textbook（阿里达摩院 + 浙江大学, ICCV 2025）提出了一个完全不同的思路：把教学视频当作多模态预训练数据的”教科书”。
核心流程：
22,000 课时教学视频
│
├── LLM 驱动的分类体系 → 系统性收集覆盖基础学科的视频
│
├── 关键帧提取（视觉知识）
├── ASR 语音识别（音频知识）
├── OCR 文字识别（板书/PPT 知识）
│
└── 时序组织 → 图文交错语料（6.5M 图像 + 0.8B 文本）关键实验结果：在 Multimodal Textbook 上预训练的 VLM，在知识密集型基准（ScienceQA、MathVista）上显著优于在网页交错数据上预训练的对照组。
对实践的启示：教学视频天然具备三个网页数据缺乏的特性——强逻辑连贯性（课程有大纲）、紧密的图文关联（老师讲的内容和展示的画面高度同步）、高知识密度（每分钟信息量远超一般网页）。这为多模态数据策展打开了一条全新路径：与其在噪声中淘金，不如直接从高知识密度的结构化源头取水。
二、质量过滤的范式跃迁：从 CLIP Score 到 Data Filtering Networks
在纯文本世界，质量过滤经历了”规则→perplexity→分类器→动态选择”的演进。多模态世界正在经历一场平行但更剧烈的演进。
2.1 CLIP Score 过滤：起点，也是天花板
最早的图文对过滤方法极其朴素：计算图像和文本的 CLIP 嵌入的余弦相似度，低于阈值就丢弃。 这是 LAION-5B 和早期 DataComp 的标准做法。
CLIP score 过滤的问题与纯文本 perplexity 过滤如出一辙——它衡量的是对齐度，不是质量。
CLIP Score 过滤的盲区：
高 CLIP score 但低质量：
├── 白底黑字写"cat"的图片 + 文本"a cat" → cosine 0.95 ✅
├── 库存水印图 + 精准 alt-text → cosine 0.90 ✅
└── 信息量极低的图标 + 简短描述 → cosine 0.88 ✅
低 CLIP score 但高质量：
├── 复杂科学图表 + 详细解释性描述 → cosine 0.25 ❌
├── 多物体场景 + 叙述性描述 → cosine 0.30 ❌
└── 教学示意图 + 背景知识描述 → cosine 0.22 ❌2.2 Data Filtering Networks：用学习取代启发式
Data Filtering Networks (DFN)（Apple, ICLR 2024）提出了一个根本性的转变：不要用固定的分数阈值过滤，而是训练一个专门的网络来学习”什么是好的训练数据”。
DFN 的核心洞察是一个反直觉的发现：
一个模型在 ImageNet 上的精度，和它作为数据过滤器的质量，是两回事。
具体来说，在少量高质量数据上训练的小模型，作为数据过滤器反而优于在大量一般数据上训练的大模型。基于这个洞察，Apple 团队构建了：
| 数据集 | 规模 | 过滤源 | 结果 |
|---|---|---|---|
| DFN-2B | 20 亿图文对 | CommonPool 过滤 | 开源发布 |
| DFN-5B | 50 亿图文对 | CommonPool 过滤 | ViT-H ImageNet 零样本 84.4% |
DFN-5B 训练的 CLIP 模型超越了在 LAION-2B、DataComp-1B 甚至 OpenAI 原始 WIT 数据集上训练的模型——同等计算预算下的 SOTA。
2.3 MLM-Filter：用多模态语言模型做过滤器
MLM-Filter（2024）将过滤器从 CLIP 级别升级到了 MLM（Multimodal Language Model）级别。核心思路是：用微调后的多模态语言模型来判断图文对的质量——不仅看对齐度，还看描述的准确性、信息密度、构图质量等更丰富的语义维度。
实验表明，MLM-Filter 在 DataComp 基准上显著超越了 CLIP score 过滤和 DFN。
2.4 PixMo：完全不依赖蒸馏的数据构建
PixMo（Allen AI, CVPR 2025 Best Open-Source Contribution）走了一条更激进的路：完全不使用任何闭源 VLM 生成合成数据，从零构建高质量多模态数据集。
当前开源 VLM 的一个公开秘密是：几乎所有强性能的开源模型都在某个环节依赖了闭源模型（GPT-4V/Claude）生成的合成标注。PixMo 团队证明了这不是必要的。
PixMo 数据集包含三个核心部分：
- 高细节图像描述（预训练用）
- 自由形式图像问答（微调用）
- 2D 空间指向标注（指向能力训练）
所有数据均由人工标注员生成，无外部 VLM 介入。基于 PixMo 训练的 Molmo 72B 模型超越了 Claude 3.5 Sonnet 和 Gemini 1.5 Pro。
对实践的启示：多模态数据过滤的演进方向清晰——从静态分数阈值（CLIP score）到学习型过滤器（DFN/MLM-Filter）到从源头构建高质量数据（PixMo）。这与纯文本领域”从 perplexity 到分类器到 RLPT”的演进逻辑高度平行，但多模态的复杂度更高，因为质量是多维的（对齐度 × 信息密度 × 图像质量 × 描述准确性）。
三、配比与 Scaling Laws：视觉比语言更”数据饥饿”
3.1 原生多模态模型的 Scaling Laws
Scaling Laws for Native Multimodal Models（Apple + Sorbonne, ICCV 2025）是第一项系统性的原生多模态 Scaling Laws 研究，训练了 457 个模型，涵盖不同架构和训练配比。
五项关键发现：
| 发现 | 含义 |
|---|---|
| 早期融合 ≈ 晚期融合 | 从头训练的早期融合模型性能不输晚期融合，低预算下甚至更优 |
| NMM 扩展类似 LLM | 缩放指数因数据类型和配比而略有不同 |
| 晚期融合需要更多参数 | 计算最优的晚期融合模型参数-数据比更高 |
| MoE 显著提升早期融合 | 专家隐式学习模态专门化，尤其在早期层和最后层 |
| 模态无关路由 > 模态感知路由 | 不需要显式告诉 MoE 哪个 token 是哪种模态 |
“早期融合不输晚期融合” 这个结论对数据工程有深远影响。它意味着我们不必再把多模态训练拆分为”先训文本，再接视觉编码器”的两阶段流程，而是可以从头就在混合模态数据上训练——这对数据管线的设计是一个根本性的简化。
3.2 多模态数据配比的 Scaling Laws
Scaling Laws for Optimal Data Mixtures（Apple, 2025）进一步将 Scaling Laws 扩展到了多模态数据配比优化，提出了一个统一的数学框架来预测 LLM、原生多模态模型和大视觉模型的最优数据混合比例。
核心方法：
输入：模型大小 N、训练 token 数 D、各域数据权重向量 h
输出：预测的训练损失 L(N, D, h)
L(N, D, h) = f(N, D) + g(h | N, D)
↑ ↑
标准 Scaling Law 域权重修正项
关键特性：
1. 在 3 个大规模设置中验证了普适性（LLM / NMM / LVM）
2. 可从小规模实验外推到大规模
3. 在给定预算 (N, D) 下自动推导最优域权重这直接解决了 Vol.4 中讨论的”数据配比是拍脑袋”的问题——只不过现在变量从”N 个文本域”扩展到了”N 个文本域 × M 种模态形态”，组合空间爆炸式增长，让 Scaling Laws 的预测能力变得更加关键。
3.3 扩展不对称性：视觉比语言更数据饥饿
Beyond Language Modeling: An Exploration of Multimodal Pretraining（Meta FAIR + NYU, 2026）通过受控实验揭示了多模态 Scaling Laws 中一个核心不对称性：
视觉比语言对数据的需求显著更大（vision is significantly more data-hungry than language）。
通过 IsoFLOP 分析，团队发现：
- 在相同 FLOP 预算下，视觉模态需要的训练数据量远大于语言
- MoE 架构可以协调这种不对称性——为语言提供高模型容量，同时适应视觉的数据密集型特性
- 视觉数据和语言数据是互补的，混合训练产生协同效应
该论文还提出了 Representation Autoencoder (RAE) 作为统一视觉表示，在理解和生成两端都表现优异，并发现统一多模态预训练自然引出世界建模（world modeling） 能力。
对实践的启示：
- 数据采集优先级应向视觉倾斜。如果你的多模态训练管线中视觉数据不足，扩展视觉数据的边际收益远大于扩展文本。
- MoE 不只是效率工具，而是解决模态不对称的架构方案。它让模型在不增加推理成本的前提下，为不同模态分配不同的参数容量。
- “视觉更数据饥饿”这个结论应该反向指导数据质量投资——既然视觉数据需要更多，那么视觉数据的质量过滤和策展就需要更多工程投入，而不是反过来。
四、原生多模态架构对数据管线的反向重塑
4.1 从管道式到原生式：数据需求的根本变化
传统的多模态模型是管道式的：先训一个 LLM，再训一个视觉编码器（如 CLIP ViT），再用一个投影层把它们连起来，最后做多模态微调。这种架构对数据的需求是分阶段的——每个阶段用不同类型的数据。
原生多模态模型（如 Chameleon、Emu3、Transfusion 系列）则是从头在混合模态数据上联合训练单一 Transformer。这对数据管线的影响是根本性的：
管道式架构的数据需求：
阶段 1：纯文本预训练 → 万亿纯文本 token
阶段 2：视觉编码器训练 → 数十亿图文对（CLIP 训练）
阶段 3：对齐训练 → 百万级图文描述对
阶段 4：指令微调 → 十万级多模态指令数据
每个阶段的数据管线相互独立，可以分别优化。
─────────────────────────────────────────
原生多模态架构的数据需求：
单一阶段：混合多模态预训练
→ 纯文本（万亿 token）
→ 图文对（数十亿对）
→ 交错图文文档（万亿 token）
→ 视频序列（新增维度）
→ 动作条件视频（涌现能力用）
所有数据形态必须在同一条管线中完成：
token 化 → 质量过滤 → 去重 → 配比优化 → 混合 → 喂给同一个 Transformer4.2 Emu3 和 Chameleon：统一 token 化的数据工程
Emu3（智源 BAAI, Nature 2026）的核心设计哲学极为精练：“一切都是 token。”
将图像、文本和视频统一编码到离散 token 空间后，数据管线在形式上变得”简单”了——所有模态都是 token 序列，可以用相同的自回归目标训练。但表面的简化下隐藏着新的复杂度：
- 视觉 Tokenizer 的码本设计成为核心变量。码本大小（vocabulary size）直接影响视觉信息的保真度和压缩率。码本太小，图像信息丢失严重；码本太大，序列长度爆炸，计算成本不可控。
- 跨模态去重变得更困难。同一张图片被不同网页引用、配以不同文本描述——在 token 空间中，它们看起来是完全不同的序列。
- 质量信号需要跨模态定义。一个”高质量”的多模态序列，既要求文本部分有信息量，也要求视觉部分与文本语义一致，还要求视觉 token 化后的保真度足够。
Chameleon（Meta FAIR, 2024）采用了 34B 参数的早期融合架构，在 10 万亿多模态 token 上训练。其数据工程的核心挑战是：如何在如此大规模下保持图文对齐质量、控制模态间的”干扰”（一种模态的噪声数据拖累另一种模态的学习）、以及在训练过程中维持稳定性。
4.3 Transfusion：双目标架构的数据管线
Meta 的 Transfusion 框架采用了一种混合训练目标——对语言使用 next-token prediction，对视觉使用 diffusion。这种双目标设计对数据管线有独特的要求：
- 文本数据的格式与标准 LLM 预训练相同
- 图像数据需要同时支持离散 token 化（用于语言侧的交错理解）和连续表示（用于 diffusion 侧的生成）
- 视频数据需要按帧展开为时序 token 序列
- 配比不仅是域级别的，还是目标级别的——next-token prediction 和 diffusion 两个目标的 loss 权重也需要精调
开源多模态数据集全景
| 数据集 | 机构 | 年份 | 形态 | 规模 | 许可证 | 特点 |
|---|---|---|---|---|---|---|
| LAION-5B | LAION | 2022 | 图文对 | 58.5 亿对 | CC BY 4.0 | 首个十亿级开源图文对；已因版权争议下线 |
| DataComp | 多机构 | 2023 | 图文对 | 12.8T 候选 | 开放基准 | 固定训练代码，比拼数据策展 |
| DFN-2B | Apple | 2024 | 图文对 | 20 亿对 | 研究用 | Data Filtering Networks 产出 |
| OBELICS | HuggingFace | 2023 | 交错文档 | 1.41 亿文档 | CC BY 4.0 | 首个大规模开源交错数据集 |
| MINT-1T | Salesforce+UW | 2024 | 交错文档 | 1T token + 34 亿图 | 开源 | 10× OBELICS；含 PDF 和 ArXiv |
| OmniCorpus | 上海 AI 实验室 | 2024 | 交错文档 | 86 亿图 + 1696 亿 token | 开源 | 迄今最大多模态数据集 |
| Multimodal Textbook | 阿里达摩院 | 2025 | 交错文档 | 6.5M 图 + 0.8B token | 开源 | 教学视频源；高知识密度 |
| PixMo | Allen AI | 2024 | 图文对 + QA | ~1M 样本 | 开源 | 零蒸馏；人工标注；CVPR 2025 Best |
| Cambrian-10M | NYU | 2024 | 指令数据 | 10M 样本 | 开源 | 综合性多模态指令微调 |
五、多模态数据工程的未解难题
5.1 跨模态去重
纯文本去重有成熟的工具链（MinHash → 后缀数组 → SemDeDup）。多模态去重则面临一个维度爆炸的问题：
- 同一张图 + 不同文本：同一张猫的照片在 100 个网页中出现，配以 100 种不同的描述。图像级去重？那只保留哪个文本？
- 不同图 + 相同语义：100 张不同的猫照片，文本都是”a cute cat”。语义级去重？怎么定义”语义重复”？
- 交错文档中的局部重复：两篇文章引用了同一张图表，但上下文完全不同。
目前没有公认的最佳实践，多数团队采用的是多通道独立去重（图像 hash 去重 + 文本 n-gram 去重 + URL 去重）的朴素方案。
5.2 版权问题的加剧
如果说纯文本的版权问题已经很头疼（参见 Vol.6 NYT vs OpenAI），多模态的版权问题只会更严重。图像的版权归属比文本更清晰（每张图都有拍摄者/设计师），侵权行为更容易被检测（逆向图像搜索）。LAION-5B 的下线就是一个信号。
5.3 评估标准的缺失
纯文本数据集的评估已经有 Meta-rater、FIRE、DataMan 等工具。多模态数据集的评估工具几乎空白——CLIP score 是唯一广泛使用的指标，而它的局限性前文已经详述。
本期思考
回看多模态数据工程的全景，一个核心判断逐渐清晰：多模态不是纯文本数据工程的简单扩展，而是一次范式重构。
纯文本时代，数据管线是线性的——爬取→清洗→去重→过滤→配比→训练。多模态时代，管线变成了一个多维网格——每种数据形态有自己的质量维度，形态之间有复杂的交互效应，配比空间从 N 维扩展到 N×M 维。
但也有好消息。Apple 团队的工作表明，多模态 Scaling Laws 与纯文本 Scaling Laws 在数学形式上是统一的——这意味着我们在纯文本时代积累的”小实验预测大规模”的方法论是可以迁移的。Meta 的 Transfusion/Beyond Language Modeling 工作表明，视觉和语言的数据是互补的、产生协同效应的——这意味着多模态数据工程不是零和博弈，投入更多模态的数据不会损害已有模态的性能。
最务实的建议：如果你正在构建多模态训练管线，优先投资视觉数据的规模和质量。 “视觉比语言更数据饥饿”这个结论，是多模态数据工程与纯文本数据工程之间最重要的差异。它意味着在资源有限的情况下，扩展高质量视觉数据的 ROI 最高。
下期预告：预训练数据的安全与对齐——当有害内容、偏见和隐私信息嵌入万亿 token 的训练集，预训练阶段的数据安全工程如何从”事后修补”走向”前置防线”