章节导航第 26 章 / 共 30 章

第 26 章篇五：多模态与具身数据

多模态数据工程

VLM 数据的完整工程栈：能力-数据映射全景、视觉 token 经济学、交错文档与文档智能、细粒度定位、视频与 GUI Agent 数据、多模态后训练与幻觉矫正、评测与去污染。

最后更新：2026年10月12日多模态 VLM 交错文档文档智能视觉定位视频数据 GUI Agent 幻觉矫正 MINT-1T

“文本数据工程解决的是’读’的问题，多模态数据工程解决的是’看’的问题——而后者在 2026 年才刚刚走完文本数据 2021 年走过的路。”

前面二十几章的管线——采集、清洗、过滤、去重、配比、退火——都默认了一个前提：数据是纯文本。但 2026 年的前沿模型几乎全是多模态的：GPT-5 原生看图看视频，Gemini 3.5 全模态输入输出，开源的 Qwen3-VL、InternVL3.5 也早已不是”文本模型 + 视觉编码器”的拼接。这一章把前文的所有管线思想平移到多模态，并指出哪些环节出了新问题：交错文档怎么解析？视觉 token 怎么算预算？定位标注怎么规模化生产？视频怎么切分？GUI 轨迹怎么采？多模态幻觉怎么用数据矫正？

阅读本章前先记住一个总判断：多模态数据工程不是”文本管线 + 图片附件”。它有三条独立的第一性原理——

质量信号是跨模态的：文本质量看困惑度和启发式规则，图文质量看”图文是否真的相关”，这个信号必须两个模态一起算。
成本由视觉侧主导：一张高清图的 token 数常常是它配文的上百倍，序列长度、显存、吞吐、配比的账都因此改写（26.4）。
能力是碎片化的：OCR、图表、GUI、空间定位、长视频、多图推理不是同一个能力，各自吃不同的数据。用一套”多模态数据”笼统配比，必然某几项能力饿死（26.3）。

26.1 三代范式：图文对 → 交错文档 → 原生统一

理解多模态数据工程，先看数据形态的三次演进：

代际	数据形态	代表数据集	代表模型	核心假设
第一代	离散图文对	LAION-400M/5B、DataComp	CLIP、Stable Diffusion	对比学习对齐两个模态的嵌入空间
第二代	交错文档	MMC4、OBELICS、MINT-1T	Flamingo、Idefics2、Chameleon、MM1	模型在”自然阅读顺序”中学会图文交替推理
第三代	原生统一序列	MINT-1T + 海量图文对 + 视频	Chameleon、Emu3、GPT-4o 类全模态	所有模态离散化为统一 token，一套 Transformer 生成一切

为什么交错文档是关键跳板？ 图文对只能教会模型”这张图是什么”，教不会”这篇文档里第 3 张图和第 2 段文字的关系”。而人类的知识载体——网页、PDF、论文——天然就是图文交错的。Flamingo 首先证明了在小样本多模态任务上，交错数据远胜纯图文对；Chameleon 和 MM1 把这一结论推到前沿规模。

第三代”原生统一”带来的数据侧变化常被忽略：一旦图像也被离散化成 token，图像生成就变成了语言建模任务，于是”图文对数据”和”图文生成数据”合并成同一份资产，配比问题从”文本域配额”升级为”模态配额 × 域配额”的二维问题（第 10 章配比思想在二维上的推广）。代价是：离散化图像 token 的重建质量成了新的质量门槛，压缩率与细粒度 OCR 能力直接冲突。

MINT-1T：开源交错数据的 10 倍跃迁

2024 年之前，开源交错数据集的规模卡在 OBELICS（115B token / 3.53 亿图，纯 HTML）。MINT-1T 一步跨越到 1 万亿文本 token + 34 亿张图，并首次大规模纳入两个新源：

子集	Token 量	特点
HTML	922B	CommonCrawl WARC 2017-2024，过滤后的网页
PDF	93B	CommonCrawl WAT 2023-2024，此前从未被交错数据集利用
ArXiv	9B	LaTeX 源码解析，科学图表与公式混排

实验结论值得记：MINT-1T 训练的模型在 10-shot 以上的多模态上下文学习任务全面超过 OBELICS，其中科学与技术领域提升最大——PDF 和 ArXiv 子集贡献的恰恰是 HTML 里最稀缺的高知识密度文档。这与第 4 章”数据来源金字塔”的结论完全同构：多模态数据同样要向”非 HTML 源”要增量。

一个实践提醒：MINT-1T 的 PDF 子集只有 93B token，占全量约 9%，但作者训练时按文档数采样给了它 45% 的配额（HTML 50%、ArXiv 5%）——是主动上调权重，而不是自然占比。判断一份多模态数据的价值，不能只看 token 数，要看它覆盖的能力维度是不是别处没有的：PDF 与 ArXiv 的文档长度显著长于 HTML、图像密度也更高，这正是下一节 taxonomy 的出发点。

26.2 交错文档管线解剖：MINT-1T 怎么炼成

MINT-1T 的处理管线几乎是第 5、6、7 章文本管线在多模态下的翻版，多出来的全是”图”的问题：

CommonCrawl WARC/WAT
   │
   ├─ 文本侧：fastText 语种识别（阈值 0.65，只留英文）
   │          RefinedWeb 式重复 n-gram 过滤
   │          URL 黑名单（NSFW 子串）
   │
   ├─ 图像侧：NSFW 图像分类器
   │          尺寸过滤（150px < 边长 < 20,000px）
   │          宽高比约束（HTML 2:1，PDF 3:1）
   │
   ├─ 联合：Bloom filter 段落级 + 文档级去重
   │        PII 掩码（邮箱 / IP）
   │
   └─ 结构化解析：
       HTML → 保留 DOM 图文顺序
       PDF  → PyMuPDF 解析 + 文本块按列聚类 + 从左到右阅读顺序
       ArXiv → TexSoup 解析 LaTeX，剔除 import/参考文献/表格标签，
               图片按出现位置插回正文

三个细节值得展开：

PDF 阅读顺序是最大的坑。 双栏论文里朴素的坐标排序会把左右栏文本打碎。MINT-1T 的做法是先做文本块列聚类，再按列内从上到下、列间从左到右重排。即便如此，复杂版式的解析错误率仍然不低——这是 2026 年多模态数据工程公认的未解难题之一（第 5 章的 PDF 解析一节有文本侧的对应讨论，26.6 会更系统地展开版面解析）。

LaTeX 源码比编译后的 PDF 干净得多。 ArXiv 子集直接解析 .tex 源码：数学公式保留原始 LaTeX（后续可转成可计算形式），图片位置从源码结构恢复，不受排版引擎干扰。10B token 量小，但单位知识密度全书最高。

图像用 URL 引用而非二进制存储。 这带来了与 LAION 同样的”链接腐烂”问题——三年后回访，能下载到的图往往只剩 60-70%。做长期数据资产，要么本地化存储，要么定期重爬校验（第 13 章数据溯源的动机之一）。工程上建议把”可下载率”做成监控指标：它一旦下滑，模型训练时静默丢图，症状会被误诊为”数据配比问题”。

NeMo Curator 的交错数据设施

工业级的交错数据处理已经进入标准框架。NVIDIA NeMo Curator 的 Interleaved 管线定义了一个值得参考的 schema：

列	类型	含义
`sample_id`	string	文档唯一 ID
`position`	int32	元素在文档内的序号（-1 为元数据行）
`modality`	string	`text` / `image` / `metadata`
`text_content`	string	文本内容（文本行）
`binary_content`	large_binary	图像原始字节（物化后填充）
`source_ref`	string	源文件定位符（JSON）

每个交错文档被拆成”一行元数据 + N 行文本/图像”，存储格式在 WebDataset tar shard 与 Parquet 之间自由转换（curate once, train many）。二进制内容默认不加载进内存，而是按需”物化”，有三种策略：字节范围读（最优，批量 HTTP/S3 range 请求）、tar 解包（字节偏移未知时）、直接读（独立文件）。

采样级过滤器同样标准化：图像清晰度（blur score）、二维码面积占比、CLIP 图文对齐分数（阈值 0.2 起步）、图/文条目数比例。这一套过滤器就是多模态版的第 6 章”Gopher 八关”。

工程建议：把 schema 里”每个元素一行”的设计当成硬约束。很多团队早期把整篇交错文档塞进一个大 JSON，结果是任何一次过滤都要反序列化全文档，过滤器迭代成本极高。行式存储让”加一个过滤器”变成一次 SQL 变换——这与第 28 章”数据设施的可迭代性优先”是同一条原则。

26.3 VLM 能力—数据映射全景

这是本章最该被反复翻阅的一张表。多模态数据配比之所以难，是因为”多模态”不是一个能力，而是一堆彼此弱相关的能力，每种能力的数据来源、标注成本、退化原因都不同。做配比时如果对”多模态数据”一视同仁，最常见的结局是 OCR 和图表能力过剩、GUI 与空间定位饿死。

能力维度	数据形态	主要来源 / 生产方式	代表数据集	主要评测	典型坑
通用图文对齐	图文对	网页 alt-text、DataComp 式筛选	DataComp-1B、DFN	CLIP 类零样本	链接腐烂、水印污染
交错推理	图文交错文档	CommonCrawl HTML/PDF/ArXiv	MINT-1T、OBELICS	多模态 ICL、MMMU	PDF 阅读顺序错误
OCR / 文档理解	高分辨率文档图 + 结构化文本	版面解析 + OCR + 文档 VQA 构造	DocLayNet、RVL-CDIP、DocVQA	DocVQA、ChartQA、CC-OCR	DPI 不足、公式/表格结构丢失
图表与数据可视化	图表图 + 数值/推理 QA	代码合成图表 + 程序化 QA	ChartQA、PlotQA、FigureQA	ChartQA、MathVista	合成图表分布单一
细粒度定位	图 + bbox / 掩码 / 指代	Grounding DINO + SAM 自动标注、人工 REC	Objects365、RefCOCO、GRIT	RefCOCO、ODinW	自动框噪声、坐标格式不统一
空间与几何推理	多视角/单图 + 空间关系标注	合成场景 + 关系标注	SpatialBench 类	CV-Bench、SpatialBench	数据稀缺，靠合成
多图推理	多图 + 比较/聚合问题	图集构造 + 强模型出题	Mantis、MuirBench 类	MuirBench、Mantis-Eval	图序敏感、位置偏差
GUI / 屏幕理解	截图 + 元素树 + 动作轨迹	真机/模拟器录制 + DOM 对齐	Mind2Web、OSWorld、Aguvis 类	ScreenSpot、OSWorld	环境不可复现、隐私
视频理解	视频片段 + 字幕/QA	镜头切分 + 多教师字幕 + 时间戳标注	Panda-70M、Ego4D、HowTo100M	Video-MME、MVBench、LongVideoBench	时间标注稀缺、长视频算力
科学与数学	公式/化学结构/几何图 + 解题过程	LaTeX 解析 + 教材习题结构化	ArXiv 子集、MathVista 类	MathVista、MMMU	LaTeX 渲染错误
多语言 OCR	非英文文档图	多语种采集 + 本地化 OCR	各语种文档集	OCRBench 多语子集	小语种字体与排版多样
具身 / 机器人	多视角视频 + 动作标签	遥操作采集 + 仿真生成	见第 27 章	见第 27 章	硬件异构、动作空间不统一

怎么用这张表：

做配比时按行配额，而不是按”多模态总量”配额。给每行设一个最小保障量（类似第 10 章的域配额下限），避免长尾能力被主流数据淹没。
做归因时按行建 probe。整体多模态分数涨了不代表每行都涨（26.16 与第 11 章的多模态特化小节展开）。
做采购/采集决策时看”单位成本覆盖几行”。文档类数据（PDF/LaTeX/扫描件）能一次喂饱 OCR、表格、科学、多语言四行，性价比最高；GUI 数据只喂一行但那一行是稀缺的。

与前文的接口：这张表是第 4 章”数据来源金字塔”和第 10 章”配比”在多模态下的合体。文本管线的配比是按”域”切分的，多模态必须按”能力 × 域”二维切分——多出来的那一维，就是多模态数据工程所有额外复杂度的来源。

26.4 视觉 token 经济学

文本数据工程里，“token 数”基本等于”字符数 / 压缩比”，是个被动结果。多模态下它是主动设计变量，而且直接决定训练能不能跑起来。

一张图值多少 token

不同方案下同一张 1024×1024 图的 token 消耗可以差两个数量级：

方案	视觉 token 数（量级）	代价
固定 224 或 336 分辨率单图	256-576	细节全丢，OCR/表格能力基本为零
固定 448 tile + 多 tile（anyres，如 LLaVA-NeXT / InternVL 切片）	1k-3k	tile 数随分辨率线性增长，文档图暴涨
动态分辨率（Qwen2.5-VL 式，4-16384 token/图）	按需伸缩	序列长度方差极大，packing 与显存规划困难
压缩型（Q-Former / Perceiver Resampler，Flamingo、BLIP-2）	32-256	极高压缩率，细粒度 OCR 与定位能力显著受损
pixel shuffle 类（InternVL）	tile 数 / 4 左右	比纯 tile 省 4 倍，保留较多细节

结论很硬：只要你的目标能力里包含 OCR、表格、图表、GUI，就不能用高压缩方案。Q-Former 式压缩在”看图说话”任务上够用，在”读发票金额”任务上必然失效。这也是 2026 年开源 VLM 普遍放弃 Q-Former、回到”切片 + 轻度压缩（pixel shuffle）“路线的原因。

token 预算怎么定

工程上通常分三步：

定目标能力集（回到 26.3 的表），反推所需最小分辨率。经验值：自然图像 336-448 够用；文档/图表/GUI 需要短边 ≥ 768，理想 1024-1536；多栏论文 PDF 有时需要 2048。
定单样本 token 上限（例如图文样本 ≤ 8k token），超出的图降采样而不是截断——截断会丢失整块版面信息，降采样至少保留全局。
定模态 token 比（视觉 token 占总量比例）。不同阶段差别很大：预训练期视觉占比可以到 30-50%（要让模型学会”看”），后训练期通常压到 10-20%（指令样本以文本为主）。

第 10 章讲文本域配比时用的是”token 占比”这一个旋钮，多模态下它是三个旋钮：分辨率策略 → 单样本上限 → 模态 token 比，三者共同决定吞吐与效果。

还差一层：预算怎么分到 26.3 那 12 行上

上面三步定的是总量，但它们没有回答一个更前置的问题：这个总预算在 26.3 那张能力表的各行之间怎么分。26.3 末尾给的是”做配比时按行配额”，26.4 给的是”总量怎么定”，两者此前没有接起来。

WeVisDoc（arXiv:2609.20423）给了一个可参照的实现，而且它的表述很值得抄：把数据工程当作一个”按 token 预算分配”的账本问题。做法是两轮——

先按覆盖铺一遍（Stage I）：让语义、结构、外观三个方向都见过，不求每行都练够。
再按残差定向投（Stage II）：用 held-out probe 测出各行在固定的视觉-结构簇内的残差错误，据此做定向的数据构建与目标 token 预算的再分配——把预算投到真正缺覆盖的行，而不是均匀加。

它与 26.3 末尾那条”做采购决策时看单位成本覆盖几行”直接咬合：文档类数据一次喂饱 OCR、表格、科学、多语言四行，在 token 预算账本上是性价比最高的一格——这也是为什么”文档”这一行值得在预算账本上单独占一栏，而不是按它的数据条数自然摊薄。

⚠️ 回源状态：账本算法的具体形式（如何由残差推出各行预算增量）未读论文正文，本段只按”可参照的实现”引用，不要当作现成公式套用。可确认的一手表述是摘要中的 “These diagnostics guide targeted data construction and reallocation of the target-token budget”。

序列长度方差是吞吐杀手

动态分辨率会让 batch 内序列长度从 1k 到 30k 不等，冲击落在三处：

显存峰值：按最长序列预分配会浪费，按平均分配会 OOM。
有效 batch：padding 占比高时，大量算力花在空 token 上。
配比失真：如果你按样本数配比（例如”10% 文档数据”），而文档样本的 token 数是其他样本的 5 倍，实际 token 占比会变成 35% 左右——配比必须按 token 记账，不能按样本数记账。

这是多模态下最容易踩的配比陷阱：名义配比和实际配比系统性偏离，而且偏离方向与数据特性强相关，排查时极难发现。

packing 的多模态约束

第 9 章的文本 packing 在这里要多加三条约束（详见 ch09 的多模态特化小节）：

图不能跨样本切：一个样本的视觉 token 必须完整落在同一序列里，否则 attention mask 无法正确隔离。
图文交错样本的注意力隔离：多模态 packing 通常用 block-diagonal mask 或 document mask，避免样本间互相看见。
视觉 token 的位置编码连续性：动态分辨率下每个图的 token 数不同，位置 ID 要按实际 tile 重算，不能沿用打包前的偏移。

与前文的接口：第 9 章解决”怎么塞满序列”，这一节解决”塞满之前先决定每个样本值多少 token”。文本侧 token 是度量，多模态侧 token 是预算——这是两者最本质的区别。

26.5 图文对的教训：从 LAION 到 DataComp

第一代图文对数据没有因为交错数据崛起而退出历史——扩散模型和对比学习预训练仍然大量依赖它们，但工程教训足够写进教科书。

LAION-5B 的三重事故：① 2023 年斯坦福团队在其中发现 CSAM（儿童性虐待材料），直接导致数据集从 Hugging Face 下架；② 大量水印、签名、低质图污染训练（Stable Diffusion 早期的”水印手”问题）；③ URL 索引模式导致链接持续腐烂。三条教训对应三条工程铁律：安全过滤必须前置且独立审计、水印检测必须进管线、长期资产必须本地化。

DataComp 范式：与其各自闷头做数据，不如把”给定固定算力，比谁的数据配方在下游基准上分高”变成竞赛。DataComp 系列把 curation 本身变成可复现实验，催生了 DFN（Data Filtering Networks，用模型给模型挑数据）和 T-MARS（文本无关区域裁剪，处理”图里混入文字 UI”的污染）等方法。这与第 2 章”质量感知缩放律”一脉相承：数据质量函数 Q 是可以被显式搜索的。

值得单独强调的是 T-MARS 处理的问题：网页截图类图像里包含大量文字（UI、按钮、弹窗），这些文字与 alt-text 无关，会污染图文对齐信号，也会让模型学到”看图要读 UI 文字”的偏差。这类”图像内嵌文本”的检测（OCR 区域占比）应当成为所有图文对管线的标准过滤项。

与前文的接口：图文对的过滤-去重-配比问题，分别对应第 6 章（质量过滤）、第 7 章（去重）与第 10 章（配比）。多模态的区别在于质量信号从”纯文本启发式”升级为”跨模态一致性”（CLIP score 类），去重从 MinHash 升级为感知哈希 + 嵌入聚类（详见 ch07 的多模态特化小节）。

一个必须补上的反例：mixing 比 filtering 更决定上限。 上面三代过滤技术（LAION 启发式 → DataComp 的 CLIP 过滤基准化 → T-MARS 重写式过滤）隐含一条叙事——过滤做得越精细，数据越好。DataComp-VLM（DCVLM，arXiv:2606.28551，160 个数据源、约 6T 多模态 token）的消融给出了反方向的证据：源数量到达百级规模后，mixing recipe 的收益超过 filtering 强度。它的 8B 基线模型平均 63.6%，比同等规模下用 FineVision 语料训练高 5.4pp，两组的主要差异项不在过滤强度。论文自己的措辞是”data mixing, not filtering, is key”。

这条证据把预算分配原则改写成一个可执行口径：过滤用于抬高每个源的下限，mixing 用于决定组合后的上限；预算有限时优先扩源与调配比，而不是继续加严过滤阈值。 它与 26.4 的”配比须按 token 记账”正好接上——DCVLM 的 6T 是 token 口径不是样本口径，跨语料比较规模前先统一记账单位。

引用 DCVLM 时有一处容易读反：它的语种分布极不均衡。论文附录给出英语占比 91.1%（Lingua 识别器）与 92.8%（NLLB），中文 3.9% 与 3.5%，其余约 5% 散落在 70–110 个语种上（数量取决于识别器），其中每个语种占比都不到 1%。它的强项是源的数量与配比实验，不是语种覆盖，不能当多语种语料引用。

26.6 文档智能数据：版面、表格与公式

文档理解是 VLM 商业化落地最密集的场景（票据、合同、病历、财报、论文），也是数据工程最琐碎的一块。它和其他多模态数据的区别在于：答案的正确性往往可以被客观验证（图里的数字是多少就是多少），这一块自然成了合成数据与可验证奖励的最佳土壤。

从”提取文字”到”还原结构”

第 5 章的文本抽取目标是拿到可读文本；文档 VLM 的目标是拿到带结构的信息。差别体现在三类元素上：

元素	朴素抽取的结果	文档 VLM 需要的结果
表格	单元格文字按行平铺，行列关系丢失	HTML table 或 Markdown table，保留表头与合并单元格
数学公式	乱码或图片	LaTeX（可渲染、可计算、可检索）
版面	线性文本流	块级结构 + 块类型（标题/正文/图注/页眉/脚注）+ 阅读顺序

实现路径通常是”版面检测 → 区域识别 → 结构还原”三级：布局模型（LayoutLMv3、DiT、DocLayout-YOLO 一类）先框出区域，再对每个区域分别走 OCR 或公式识别，最后按阅读顺序拼接。训练这类版面模型的数据集（DocLayNet、PubLayNet、RVL-CDIP 等）本身就是数据工程产物——标注的是”这块是什么、按什么顺序读”，与文本侧的标注方法论（第 25 章）完全不同。

分辨率与 DPI 是硬门槛

文档数据的质量第一变量是分辨率，不是内容。经验阈值：

短边 < 512px：印刷体 OCR 开始明显劣化，表格边框断裂。
短边 768-1024px：常规印刷文档可靠；手写体仍需更高。
密集表格、小字号脚注、多栏论文：短边 1536-2048px 才稳。

但分辨率直接乘进 token 预算（26.4），所以工程上不是”越高越好”，而是按文档类型分档：普通单栏文本 768，表格/多栏/公式密集 1536，超长票据按区域动态切图。这个分档策略本身就是一条配比规则。

文档 QA 数据的三种构造法

真实标注改写：从已有 VQA/抽取数据集（DocVQA、FUNSD、SROIE、ChartQA 等）改写为指令格式。优点是分布真实，缺点是题型固定、多样性不足。
结构化程序化生成：拿到文档的解析结果（表格 JSON、键值结构）后，用模板 + 程序化推理生成问答（“第二列的总和是多少""把表头为 X 的行找出来”）。答案由结构数据计算得出，天然可验证，非常适合做 RLVR 训练数据（26.14）。
强模型出题 + 校验：用前沿模型看图出题并作答，再用结构化解析结果或第二个模型交叉校验。产出多样性最好，必须配”可验证 + 一致性”双闸门过滤，否则幻觉答案会静默进入训练集。

一个反复被验证的经验：文档能力对”解析错误的容忍度极低”。一份表格解析错了行列关系，模型学到的就是错误的表格推理方式，而且这种错误在评测中表现为”整体答对率略降”，很难归因到具体某批数据。因此文档数据必须有可回溯的解析质量指标（版面置信度、OCR 置信度、表格结构校验通过率），并在配比时按质量分档。

26.7 细粒度定位数据：框、掩码与指代

“图里有什么”和”图里那个东西在哪”是两种能力，后者需要完全不同的数据。定位能力是 GUI Agent、机器人、医学影像、工业质检的共同底座，而它的数据生产成本也最高。

三种定位标注形态

形态	数据单位	典型任务	生产成本	备注
检测框（bbox）	图 + 若干 (类别, 坐标)	目标检测、GUI 元素定位	中	坐标表示需统一（见下）
指代定位（REC/RES）	图 + 自然语言描述 + 框/掩码	”左边的红色杯子”	高	描述必须唯一指称，否则标注有歧义
分割掩码	图 + 像素级掩码	分割、可编辑性	极高	常由 SAM 类模型半自动生产

自动标注流水线：把成本降一个量级

人工画框的成本让定位数据规模化几乎不可能。2024 年之后的主流解法是”检测模型打伪标签 + 分割模型细化 + 人工抽检”：

原始图文数据
   │
   ├─ 用开放词汇检测器（Grounding DINO 类）按文本中的名词短语出框
   │      → 得到 (短语, 框) 候选
   ├─ 用分割模型（SAM 类）把框细化成掩码（需要掩码时）
   ├─ 一致性过滤：框内裁剪图与原短语做 CLIP 相似度，低分丢弃
   ├─ 去重与合并：同图重叠框合并，避免同一物体多标签
   └─ 人工抽检 3-5%：估伪标签错误率，回填质量元数据

关键点：伪标签数据必须带质量元数据（生成它的模型版本、相似度分、是否人工确认）。这样在后训练阶段可以按质量门筛选，也可以在效果回溯时定位到批次。这与第 13 章数据溯源的思路一致——只是溯源对象从”文档来源”变成了”标注来源”。

坐标表示：一个被低估的工程细节

同一份定位数据，坐标表示方式不同会显著影响模型效果：

归一化 vs 绝对像素：绝对像素值在多分辨率训练下必须每个样本重算，容易出错；归一化到 0-1000 的离散 token 序列（Qwen2.5-VL 等采用）更稳，且便于把坐标当作普通 token 做语言建模。
坐标离散化的粒度：太粗（0-100）定位不准，太细（0-10000）序列变长且学习困难。0-1000 是常见折中。
多框的顺序：多个框按什么顺序输出？按空间位置（左上到右下）比按检测置信度更稳定，也更利于模型学到空间先验。

定位数据与对话数据怎么混

一个常见错误是把定位样本当普通 SFT 样本混入，结果模型在对话里也开始输出坐标。定位能力需要任务标识隔离：要么在数据里显式带任务前缀（“请框出…”），要么在训练时给定位样本单独的 loss 权重与采样比例。经验上定位数据占后训练总量的 5-15% 即可支撑能力，过量会让通用对话变得机械。

定位标注的下游消费方不止”框得准”这一件事。2025-2026 年打通的一条链路是 RoI-grounded 推理链：把推理过程的每一步绑定到它引用的图像区域，定位标注由此从”评测对象”变成”监督信号的组成部分”（26.14 展开）。这解释了为什么定位标注值得在管线上单独投人——它不只服务于 RefCOCO 一类定位基准。

26.8 图表、数学与科学图形数据

这一块是”合成数据最有用武之地”的区域，因为答案可验证、真实数据稀缺、分布可控。

图表数据：代码生成 + 程序化问答

真实图表（财报、论文中的 Figure）采集成本高且版权敏感，主流做法是程序化合成：

用绘图库（matplotlib / plotly / echarts）按随机参数生成图表，并保留生成时的数据结构（数据表）。
用数据结构自动生成问答：“2023 年 Q2 的柱状值是多少""哪条曲线的斜率更大""两个系列在 X=5 处的差值”。
渲染出图，配成 (图, 问题, 答案) 三元组。
视觉扰动：改变配色、字体、线型、图例位置、网格线，防止模型只记住固定样式。

合成图表的核心风险是分布单一：如果只用一种库的默认样式，模型在真实财报图表上会大幅掉点。工程上的对策是”样式随机化 + 真实图表补充 + 跨域评测集监控”三件套，这也是第 24 章合成数据”多样性审计”的典型应用。

数学与科学图形

几何图形、化学结构、电路图、乐谱这类数据有两个特点：① 文本描述与图形必须严格对应；② 解题思路（CoT）比答案本身更重要。

数据构造要点：

几何：用程序化图形引擎（如基于约束的几何作图）生成图形，顺带导出精确的几何关系（边长、角度、共点共线），据此生成可验证的多步推理题。
化学/分子：用 RDKit 类工具从 SMILES 渲染结构图，保证图与分子式严格对应，避免”渲染错导致标注错”。
解题过程：优先保留人类书写的解题步骤（教材、习题集、竞赛解答），而不是用模型重新生成——模型生成的 CoT 常出现”结论对、过程跳步”的问题，会训练出”蒙对答案”的推理习惯（与第 21 章推理数据同源的问题）。

26.9 视频数据工程：切分、描述、时间与”可取性”

视频是 2026 年增长最快、工程问题最密集的模态。一条视频进入训练集前要回答四个问题：在哪切、怎么描述、时间怎么标、要不要。

Panda-70M：70M 视频字幕对的生产线

Panda-70M 从 HD-VILA-100M 的 378 万条长视频出发，产出 7070 万条视频-字幕对（16.7 万小时，全量 36TB）。三段式管线：

第一段：语义切分。 直接按固定秒数切视频会产生”半句话片段”；按镜头边界（PySceneDetect 检测硬切）切又会过碎。Panda 的两段法：先按镜头边界切，再用 ImageBind 嵌入判断相邻片段语义相似度，相似则缝合。中位时长落在 8.5 秒——长到包含完整动作，短到字幕无歧义。

第二段：多教师字幕。 单一 captioning 模型偏差明显，Panda 用了一个教师组合：BLIP-2（随机帧）、MiniGPT-4（帧 + 视频描述/字幕等文本提示）、Video-LLaMA 与 VideoChat（整段视频），每个片段得到多个候选字幕。

第三段：检索式选择。 微调一个细粒度检索模型，从候选中挑出与视频内容对齐度最高的一条，匹配分数存入元数据。

这个”多教师生成 + 检索仲裁”的架构，就是第 24 章合成数据”生成-验证-进化”体系在视频模态的直接落地。

质量子集与”可取性”分类

Panda-70M 的三级子集设计是视频版”质量-多样性权衡”的范本：

子集	样本数	筛选条件	用途
full	70.7M	无	最大化多样性
10M	10.5M	匹配分 > 0.43 + 每源视频最多 3 片段	质量优先
2M	2.4M	10M 内随机	快速实验

“每源视频最多 3 片段”这一条在文本管线里也有对应物（第 7 章按域名做源配额）——单源过采样是多样性杀手，无论文本还是视频。

更有前瞻性的是它的 desirability 六分类：一条视频是否适合喂给视频生成模型？分成 desirable / 低分 / 静止前景 / 微小镜头移动 / 画中画 / 录屏六类。后四类对理解模型或许无害，对生成模型却是噪声——“看懂一段录屏”和”学会生成录屏”需要的数据完全不同。“数据对目标任务的适配性”第一次被做成了显式标注。

时间维度：视频数据最稀缺的标注

视频区别于图像的本质是有时间轴，而时间轴上的监督信号（“第 3 分 12 秒发生了什么”）是视频数据工程中最稀缺、成本最高的一类标注。三类做法：

自动时间戳合成：用强模型对密集采样帧生成描述，再把描述与帧索引对齐，得到粗略的 (时间, 事件) 对。成本低，噪声大，需要一致性过滤（相邻帧描述突变往往是切分点或误标）。
字幕/音轨对齐：利用现成的字幕（ASR 或人工字幕）作为弱时间标注，把时间轴切分到字幕粒度。优点是与人类叙事节奏一致，缺点是只覆盖有语音的内容。
人工时间定位标注：昂贵但质量最高，通常只用于评估集与关键能力集（长视频事件定位）。

消费端也在反向定义数据。Qwen2.5-VL 的训练数据设计有三个值得注意的决定：

动态分辨率：不做粗暴的 resize 到固定分辨率，视觉 token 数随输入分辨率伸缩（4-16384 token/图），高清文档图不被压成糊块——这要求训练数据保留原始分辨率分布，而不是预降采样。
动态 FPS 采样：视频按变速帧率采样，配合 mRoPE 的时间维 ID 与绝对时间对齐，模型学到”时间流逝速度”，进而支持一小时长视频内的事件定位。
数据里必须有”带时间坐标的监督信号”：事件定位能力来自数据中事件-时间戳的配对标注，这类标注目前主要靠合成管线（教师模型自动打时间戳）。

长视频的算力现实

长视频样本是 token 怪兽：1 分钟 1FPS 的视频，按每帧几百 token 算就是数万 token。工程上的常见取舍是分阶段训练：短片段（< 30s）大规模预训练打基础，长视频（分钟到小时级）小比例混入做能力延展，评估时用长视频基准单独监控。这与第 10 章”课程学习 + 退火”的结构一致——把最贵的、信息密度最高的数据留到后期小比例投入。

26.10 GUI 与视觉 Agent 数据

GUI Agent 是”环境即数据”范式（第 22 章 22.6 节）最纯粹的落地：环境本身就是数据生产机器，模型在其中产生轨迹，轨迹反过来训练模型。

一条 GUI 轨迹长什么样

┌─ 状态：屏幕截图 (png) + 可访问性树 / DOM 结构
├─ 动作：click(x, y) | type(text) | scroll(dir) | swipe(...) | press(key)
├─ 结果：新截图 + 新 DOM
└─ 标注：任务描述 + 该步意图（thought）+ 是否终止 + 成功/失败标记

三个数据工程要点：

截图与元素树必须对齐。 只有截图，模型学不到”点击这个按钮”的精确坐标；只有 DOM，模型学不到视觉外观（图标、颜色、布局）。对齐方式是把 DOM 节点/ a11y 节点与截图中的 bounding box 建立映射。对齐质量直接决定数据可用性——错位的数据比没有数据更糟，因为它教模型点错位置。

动作空间要提前锁死。 是输出坐标还是输出元素 ID？坐标方案通用但需要精确视觉定位；元素 ID 方案依赖 DOM 可获取（移动端原生 App、远程桌面常拿不到）。2026 年的主流是输出归一化坐标（配合 set-of-mark 式视觉标注做辅助），因为它不依赖任何环境内部信息。

失败轨迹比成功轨迹更值钱。 成功轨迹教模型”怎么做对”，失败轨迹教模型”错了怎么回退”。真实采集里失败轨迹天然更多，但很多团队清洗时把失败样本全删了，结果模型不会纠错。做法是保留失败轨迹并标注失败点，或者用”从失败点恢复”的子任务重新标注。

采集方式对比

方式	数据真实性	规模	成本	主要问题
真机/真人录制	最高	小	极高	隐私、无法规模化
模拟器批量回放（Web/Android）	高	中	中	环境覆盖率有限
强模型自主探索 + 自动判定	中	大	低	判定器不准导致噪声标签
程序化任务生成（模板化 App/网页）	中	大	低	分布与真实 GUI 差异大

判定器（verifier）的质量是自主探索路线的命门：它决定一条轨迹被标成成功还是失败。做法通常是”最终状态检查”（DOM 断言、数据库状态、截图 diff）而不是”模型自评”——可验证判定优先于模型判定，这与第 21 章 RLVR 的核心主张完全一致。

隐私与合规

GUI 数据天然包含真实账号、聊天记录、文件列表。采集阶段的硬要求：使用沙箱账号与合成数据填充（fake PII 注入），对不可避免的真实截图做 OCR + 实体检测后脱敏，并保留脱敏审计日志。这一条与第 8 章 PII 标注、ch07 的视觉 PII 小节共同构成多模态合规的三道闸。

与第 22 章的接口：第 22 章 22.6 节提出”后训练的数据边界正从数据工程转向环境构建”。GUI Agent 数据是这个判断的最佳注脚——你无法靠”收集一批截图”获得 Agent 能力，你必须构建能产生轨迹的环境。数据的生产从”采集”变成了”建设”。

26.11 质量过滤、去重与去污染

把本章各节的过滤器合并成一张多模态”体检表”：

环节	文本侧（第 6 章）	多模态新增
质量过滤	启发式规则 / 分类器打分	CLIP 对齐分、清晰度（blur）、二维码占比、OCR 文字占比、宽高比、分辨率档位
去重	MinHash / Bloom	感知哈希（pHash）+ 嵌入聚类（近重复图）
安全	词表 + 分类器	NSFW 图像分类器、水印检测、人脸检测
配比	领域 / 语种配额	模态配比、能力维度配额、分辨率分布、源视频配额
PII	正则掩码	人脸模糊、车牌、街景敏感信息、GUI 截图的账号信息
可训练性	长度过滤	token 预算过滤（超预算降采样而非丢弃）、序列长度分桶

最微妙的过滤是图文对齐：CLIP score 低的样本未必是坏样本——讽刺、隐喻、图文故意错位的梗图都会被判低分。实践中常见做法是把 CLIP score 当”重加权”信号而非硬阈值，这又回到了第 6 章 DSIR/QuRating 的思路：软信号软用。

多模态去污染必须双通道

多模态基准在 2026 年遇到了比文本更严重的污染问题——评测图本身就是训练数据（LAION 里混着 MMMU 测试集的题目插图）。去污染由此必须跑两条独立通道：

文本通道：沿用第 29 章的 n-gram 重叠、嵌入相似度检测，处理题干与答案泄漏。
图像通道：对评测集的每张图做感知哈希 + 嵌入检索，在训练集里找近重复（裁剪、改色、加边框、加水印都算泄漏）。这条通道在纯文本管线里完全不存在，是多模态特有的。

第三类污染更隐蔽：“不看图也能答对”的样本。这不是泄漏，而是评测集本身的缺陷——题目用语言先验就能猜出答案。MMStar 的诞生动机就是人工剔除这类样本，构建”纯净多模态基准”。选型参考：

知识/推理：MMMU、MMMU-Pro（学科知识）
纯净性：MMStar（去盲答泄漏）
文档/OCR：DocVQA、ChartQA、CC-OCR、OCRBench（须带版本号，见下）
定位：RefCOCO 系列、ODinW、ScreenSpot（GUI 元素定位）
视频：Video-MME、MVBench、LongVideoBench（长视频）
幻觉：HallBench、POPE（物体存在性探测——“图里没有的东西你别说有”）
视觉推理/数学：MathVista、MathVision

文档与多语侧的两个更新（2026 年）：

OCRBench 必须带版本号。现有 v2.1 是一次显著修订：10,000 条人工核验对 + 经过审计的标注，公式类改用视觉 token 级 F1（CDM）等更严格指标。v2 与 v2.1 的标注口径不同，跨版本比较分数没有意义——本章凡引用 OCRBench 处都要写明版本。
多语言侧并列 MDPBench（17 个语种群）。本章 26.15 自己承认非英语是覆盖最薄的一块，而现有”OCRBench 多语子集”只是子集、不是多语专项基准；MDPBench 是评测侧的对应补充。
文档解析侧可并列 OmniDocBench（本节现只有 DocVQA / ChartQA / CC-OCR 三个任务级基准，缺一个端到端文档解析的整体基准）。引用同样须带版本——本轮可确认的是 v1.6。

⚠️ 回源状态：OCRBench v2.1 的 10,000 对与 MDPBench 的 17 语种群这两个数字来自第三方解读页，未直读原始论文，本章按”待核实”引用——引用时请回 PolyOCR-Venus 原始论文确认。OmniDocBench v1.6 这一版本号已由 WeVisDoc（arXiv:2609.20423）摘要侧面确认（该文报告的是 OmniDocBench v1.6 上的 95.38）。

去污染的覆盖面该做多大？ 一个可引用的量级参照是 FineVision（arXiv:2510.17269）：24M 样本、200+ 数据源、185 个子集，构建时对 66 个公开基准做了去污染。“跑过 n-gram 去污染”与”对多少个基准做过去污染”是两件不同的事，后者才决定残余风险量级——团队自查清单若只有 5-10 个基准，与公开 SOTA 语料差约一个数量级。

与前文的接口：第 29 章的去污染方法论在多模态下需要升级为图像级近重复检测 + 图文联合指纹。联合指纹的意思是：不要分别判断”文本是否泄漏”和”图像是否泄漏”，而要判断”这个 (图, 文) 组合是否见过”——有时图是新的、文是新的，但组合是训练集里抄来的。

26.12 多模态 SFT 数据工程

预训练教会模型”看”，后训练教会它”看图说话不胡说”。

指令数据：LLaVA 范式及其放大

LLaVA 确立的最小可行配方：GPT-4 看图文对生成多轮指令对话，158K 样本微调出第一代开源 VLM 对话能力。这个范式 2026 年已经放大成产业：视觉指令合成（Visual Instruction Synthesis）成为多模态 SFT 数据的主产地——用前沿闭源模型给开源图像打多轮对话标注，再做质量仲裁。

放大过程中沉淀出四条经验：

第一，锚定性（groundedness）是首要质量指标。 判断一条多模态 SFT 样本是否有效，最实用的测试是去图测试：把图遮掉，如果模型仍能给出同样的答案，这条样本对视觉能力毫无贡献，属于”盲答样本”，应当过滤。这个测试成本极低（一次前向），收益极高，应作为管线标配。

第二，指令类型要按 26.3 的能力表分层覆盖。 自然生成的对话会严重偏向”描述这张图”（caption 类），而 OCR、计数、空间关系、比较推理、多图比较等类型天然稀缺。做法是按能力维度设定配额，对稀疏类型做定向合成。

第三，任务形态差异要单独处理。 多图样本（图序敏感，需做顺序扰动防位置过拟合）、视频样本（需要时间引用，如”第 10 秒”）、多轮样本（后续轮次依赖前文，训练时不能打散）三类样本的构造与增强方式完全不同，不能混在一个池子里随机采样。

第四，规模律与文本 SFT 一致：10K 精选 > 1M 粗造。 多模态 SFT 更容易出现”规模上去了、幻觉也上去了”的现象，因为粗造数据里大量样本在教模型”用语言先验补全图中没有的内容”。

后训练阶段的视觉 token 预算

预训练阶段视觉 token 占比可以很高，后训练阶段则通常压到 10-20%。原因不是算力，而是后训练的目标是学会”用视觉证据支持回答”，而不是继续学”看图”。视觉 token 占比过高会稀释指令信号，也会让模型在纯文本任务上退化（第 15 章灾难性遗忘在多模态下同样成立，而且视觉能力的遗忘更快）。

26.13 幻觉矫正：偏好、奖励与可验证信号

多模态后训练的特有难题是物体幻觉：模型描述一张图时言之凿凿地加入图中不存在的物体。它的根源在数据侧很清楚——caption 类数据里”图像中常见的伴随物体”被频繁提及（看到餐桌就写”有刀叉”），模型学到的是语言先验而不是视觉事实。

片段级偏好：RLHF-V 与 RLAIF-V

RLHF-V 的贡献是把偏好粒度做到片段级——只在幻觉片段上给负反馈，不整段惩罚。整段惩罚的代价是模型变得保守（描述变短、信息量下降），这是多模态对齐中典型的”对齐税”。后续的 RLAIF-V 进一步用 AI 反馈替代人工标注，把矫正成本降了一个量级。

数据构造上还有一条高效的反向路径：POVID 式主动幻觉注入——不被动等模型犯错，而是主动造负样本，两阶段进行：先用强模型往正确答案里注入似是而非的幻觉作为 rejected（chosen 保持原始 ground truth 不变）；再扭曲图像去触发模型自身的幻觉行为。后一阶段的负样本天然贴合模型当前的错误模式（这正是第 19 章 on-policy 偏好数据的价值）。整条路径无需人工标注。

多模态 DPO 的坑

标准 DPO 直接用在 VLM 上会出现无条件偏好问题：把训练数据里的图全部抽掉训一遍，结果与带图训练几乎持平——模型根本没在看图，只是学会了偏好某种文风。与此同时，DPO 是相对优化，它会连被选中回答的似然一起压低（只要比 rejected 压得少，奖励差照样拉大），表现为描述变短、细节流失、对真实描述越来越不自信。

mDPO 用两项修法对治：CoPO 条件偏好优化——额外构造”同一回答配原图 vs 配降质图（随机裁剪 0-20%）“的偏好对，逼模型把偏好建立在图像上；AncPO 锚定偏好优化——加奖励锚点，强制被选中回答的奖励为正，守住其似然。消融显示 CoPO 是主要功臣，印证了”多模态 DPO 的主要失效模式就是不看图”。工程上更简单的替代是在偏好数据里强制包含视觉可验证的差异（如”图中有 3 只猫”vs”图中有 5 只猫”），让偏好信号必须看图才能分辨。

可验证奖励：多模态 RLVR 的天然土壤

第 21 章的可验证奖励（RLVR）在多模态下格外好用，因为图像本身就是客观答案的来源：

奖励信号	构造方式	抗 hacking 原因
检测框 IoU	输出 bbox 与真实标注计算交并比	几何可验证，无法靠话术蒙混
OCR 一致性	答案字符串与图中 OCR 文本精确/模糊匹配	字符串可比对
存在性判断（POPE 式）	判断某物体是否在图中，二分类对错	标注成本极低，可大规模构造
计数正确性	图中目标数量与答案数字比对	数字可比对
程序化文档问答	由结构化文档数据计算出的答案	答案由程序生成，与模型无关

共同点：奖励信号来自与图像绑定的客观事实，天然抗 reward hacking。这也是为什么文档、图表、GUI 三类数据最适合做 VLM 的 RLVR 训练——它们的答案可计算。

与第 20 章的接口：VLM 的奖励模型必须把图像和文本一起看进去。只用文本分支打分的奖励模型会奖励”说得流畅但错”的答案，这在多模态下是灾难性的——因为幻觉答案往往比真实描述更流畅。详见 ch20 的多模态特化小节。

26.14 视觉推理数据：让模型”边看边想”

2025-2026 年多模态最显著的能力跃迁是视觉推理：模型不再直接给答案，而是生成一段包含视觉引用的思考过程（“我先定位图表右上角的图例，再读第二根柱子的数值…”）。对应的数据工程有三条路线。

路线一：文本推理数据迁移。 把已有的文本推理轨迹（第 21 章）配上图表/几何图，要求答案依赖图中的信息。这是最低成本的做法，但容易出现”思考过程不引用图像”的伪推理——模型把文本推理模板套上去，中间步骤与图无关。

路线二：可验证奖励驱动的自我进化（Visual-RFT / Vision-R1 路线）。 用 26.13 的可验证奖励对模型采样出的多条推理路径打分，保留正确的轨迹做 SFT 或 RL。关键设计是奖励必须能验证中间引用的正确性（例如引用的数值是否与图一致），而不只是最终答案对错，否则模型会学会”过程乱编、答案蒙对”。

路线二夹带强教师蒸馏时要防的第二个失效：教师不是永远对。 上面这条只覆盖了”学生自己采样”的情形。一旦改成用更强的教师模型生成推理链喂给学生，就多了一层风险——教师在该样本上本身就是错的，学生会把这个错当成标准答案学进去。

一个可直接借鉴的机制是 PolyOCR-Venus 强化阶段（CGPO）里的 Competence Router：动态调节蒸馏权重，在教师对该样本不可靠、或学生已超过教师能力时抑制蒸馏信号，让学生能”长过”教师而不是被教师的上限锁死。

这与本章 26.8 那句担忧是同一件事的两个对策版本——26.8 说”优先保留人类书写的解题步骤，而不是用模型重新生成——模型生成的 CoT 常出现结论对、过程跳步”，对策是回避（不用模型生成）；Competence Router 的对策是门控（用，但按可靠性加权）。当强教师是唯一可得的推理链来源时（多数团队的实际处境），回避不可用，门控就成了唯一选项。

⚠️ 回源状态：CGPO / Competence Router 的细节来自第三方解读页转述，未直读原始论文。本章按”机制可借鉴”引用，不引具体增益数字；落地前须回 PolyOCR-Venus 原始论文确认门控的判定方式与阈值。

路线三：结构化推理数据合成。 对程序化生成的图表/几何/文档题，用程序生成严格正确的推理链（因为生成时就知道所有中间量）。这条路线的推理链质量最高，但只覆盖可程序化的题型。

训练时的一个实用技巧：在推理过程中插入对图的重新引用（重新输出裁剪区域、重述关键数值、输出中间 bbox），能显著提升长推理的准确性。这本质上是给模型一个”回头看图”的机制，代价是额外的视觉 token 与更长的序列。

路线四（数据侧）：现成的 RoI-grounded 推理语料。 上面三条讲的都是”怎么造”，VisReason（arXiv:2511.17731）给的是”造出来长什么样”：489K 视觉 CoT 样本（其中 165K 为 Pro 版），推理链的每个步骤绑定到它引用的图像区域，与 26.7 的定位标注能力直接对齐。它的价值不在规模——49 万样本在 SFT 语料里不算大——而在于把”推理步骤”与”图像区域”做成可对齐的监督信号，让模型不只学”想什么”，还学”这一步在看哪里”。论文 arXiv 备注为 ECCV Camera Ready（未标注具体年份）。

⚠️ 同名混淆提醒：另有一篇同名工作 VisReason（arXiv:2605.25364）是 1,505 道题、10 个类别的视觉推理基准，与上面这条语料不是同一个东西。两者名称完全一致，引用时必须带上 arXiv 编号。

26.15 多模态合成数据

第 24 章的三层质量架构原样适用于多模态，这里只讲多模态特有的四个增长点：

以图生图扩充分布：用扩散模型 targeted 地合成稀缺分布（罕见语种文档图、特定图表类型、特定 GUI 风格），配合 CLIP 质量门。风险是模型偏见回收——合成图带着生成模型的分布偏置，几轮自循环后多样性坍缩。对策是始终保持真实数据的最低占比（例如不低于 30%），并对合成数据做多样性指标监控（嵌入空间覆盖率）。
结构化合成（高价值区）：26.8 讲的代码生成图表、几何引擎、分子渲染这类”由结构生成图像”的合成方式，因为答案可验证，是多模态合成中投入产出比最高的一块。
视频生成模型反哺机器人训练：Sora/Cosmos 类世界模型生成的机器人操作视频，已经进入具身智能的数据管线（下一章 27.4 展开）。
交错文档合成：把纯文本文档与相关图像合成交错样本，弥补真实交错数据的稀缺。这是 2026 年最前沿的方向之一——MINT-1T 只解决了”开源有没有”，“好不好”还要靠合成补强。

合成数据在多模态下的额外风险是视觉保真度：文本合成数据的错误通常体现在事实或逻辑，而图像合成数据的错误常体现在物理合理性（不可能的光影、错乱的文字渲染、不合理的 UI 布局）。后者会让模型学到虚假的视觉规律，合成图像也就必须有独立的”物理/可读性”检查（OCR 回检是最廉价的一种：合成图里渲染的文字，用 OCR 读一遍能不能读出来）。

补一条非英语缺口。 本章的语料例子以中英为主，非英语 VLM 后训练数据公开得很少，这是本章覆盖最薄的一块。Jagle（arXiv:2604.02048）提供日语约 9.2M 的后训练 VLM 数据，可作为”非英语后训练语料确实存在且能拿到”的存在性证据。目标语种没有对应公开语料时，退路是用 26.6 的文档智能管线做本地化构造，再叠加上面的”以图生图”合成，但成本必须按语种单独算一遍——低资源语种往往连可靠的 OCR 与版面模型都不齐，这一层的成本容易被低估。

26.16 评测数据工程与能力闭环

多模态的迭代闭环比文本更容易跑偏，因为”整体分数”几乎不反映单项能力。推荐的能力闭环：

按 26.3 能力表建 probe 集（按 token 记账的 X M token，独立 held-out）
        │
        ├─ 每次数据/训练变更后跑全量 probe（成本可控）
        ├─ 【分诊】先判掉点属于哪一类，再决定干预方式（见下）
        ├─ 用 probe 结果反推配比：掉点的能力 → 加对应行的数据配额
        ├─ 用归因实验验证（第 11 章多模态特化小节）
        └─ 监控"跷跷板"：视觉能力涨、文本能力跌（第 15 章遗忘）

掉点之后先分诊：不是所有掉点都该”加数据”

上面闭环里”掉点 → 加配额”这一步是单路径的。WeVisDoc（arXiv:2609.20423，腾讯）给出的恰恰是这一步之前的分诊，而它的论文标题就已经把结论写出来了——From Coverage to Capability。

该工作把 backbone 锁死在 Qwen3-VL（2B / 4B），输出格式与训练目标全部固定，只做两阶段数据工程：Stage I 用异构数据 + 保持结构的退化合成来铺语义、结构、外观覆盖；Stage II 用一个 held-out probe 测量 Stage I 解析器在固定的视觉-结构簇内的残差错误，用这些诊断去指导定向的数据构建与目标 token 预算的再分配。

两条方法论结论，都直接改写上面的闭环：

其一，“扩覆盖”与”加暴露”是两种完全不同的干预。 前者是收集 / 检索 / 合成新数据（让模型见过没见过的版式），后者是对已有数据重加权 / 重采样（让模型多练已见过的弱项）。用错等于白烧预算——数据已经见过、只是没练够的能力行，你给它再补一万张同分布的图，涨不动分。

其二，残差错误高不等于覆盖有缺口。 这是最容易被误读的一条。掉点至少有四类成因，其中只有第一类该”加数据”：

掉点成因	判别线索	正确干预
① 覆盖缺口	该能力行的版式/类型在训练集里根本没出现过	扩覆盖：采集/检索/合成新数据
② 暴露不足	出现过，但 token 占比太低、练得不够	加暴露：重加权 / 重采样，不加新数据
③ 标注噪声	残差集中在标注本身不可靠的样本上；gold 自身不一致	回炉质检，加数据无效
④ 不可读 / 容量到顶	图片糊到内容不可读、解码失败停不下来、或模型容量到顶	加数据无效，需换路线（提分辨率 / 换容量 / 换解码策略）

WeVisDoc 的实证给这个框架提供了一个正向对照：Stage II 相对 Stage I 在 2B 与 4B 上双基准都有提升，且增益更大的是退化更严重的 PureDocBench 轨道（4B 在 Real Degraded 轨道上 +4.03 分）——说明定向补”真实退化”这一类覆盖是有效的，而不是简单地把数据总量堆上去。端到端结果：WeVisDoc-4B 在 OmniDocBench v1.6 上 Overall 95.38，在 PureDocBench 三条轨道上均值 75.54，在全部四个对比设置中均列第一。

配套修正：probe 集规格从”100-300 条”改为”按 token 记账的 X M token”。 理由是本章自己立的规矩——26.4 讲”配比必须按 token 记账，不能按样本数记账”，26.17 坑 #1 又把这一条单列了一遍。原闭环写”每个能力维度 100-300 条”与这条铁律内部冲突：一条整页论文的标注可能上万 token，一条孤立公式只有几十 token，按条数一比一配比，等于让两者在训练里说同样多的话。probe 集是配比的输入，它自己却按条数记账，误差会一路传到配额上。

⚠️ 适用边界：WeVisDoc 的实证在端到端文档解析这一具体任务上取得（且 backbone 固定、只动数据），分诊框架向”通用多模态能力闭环”外推时，四类成因的判别线索需要按任务重新具体化。但”掉点 ≠ 加数据”这个否定式结论是普适的。

三个容易忽略的细节：

probe 集要跟着去污染一起维护。probe 一旦被写进训练集就永久失效，它和数据资产一样需要版本管理（第 13 章）。
VLM-as-Judge 需要先校准再用。用模型给多模态回答打分时，它自身的幻觉会直接影响评分正确性；做法是用一批人工标注的黄金集先测 judge 的一致率与偏差（位置偏好、长度偏好、对图中文字的依赖度），不合格就换规则化判定。

用什么测：上面这条给了做法但没给工具，而”用什么审计集”决定了你能测出什么。现成的两个入口：

文本 / 通用侧：第 25 章的 BiasScope（自动发现未知偏差）与 Judge-Bench。
多模态侧：EditJudgeBias（arXiv:2610.01670）——1,196 条真实图像编辑样本 + 13 种注入线索，分布在四个评测位点。它的设计要点值得单独学：每条注入线索都必须先被验证为”质量保持型”（用校准过的多模态验证器 + 对照 + 人工检查确认扰动没有真的改变编辑质量），否则观察到的判定漂移无法归因于偏差。它从三个互补维度审计 5 个 MLLM judge：对质量保持线索的不变性、与人类判断的一致度、成对偏好的稳定性。

实测抓到的偏差里，有两类是本章上面那条列举（位置偏好 / 长度偏好 / 对图中文字的依赖）没有覆盖的：

伪造的多数意见会抬高评分——给 judge 看一个捏造的”多数人认为 A 更好”，评分就往上走。
交换候选顺序会反转最多 60.9% 的成对判定——这不是噪声级的位置偏好，是近三分之二的判定被顺序决定。

另有一条反直觉的：无关的视觉元素造成的判定漂移，比整图级的操纵更大；而编辑区域类的线索倾向于降低与人类判断的一致度。

两条方法论主张必须一并采纳：

观测到的漂移要对照 judge 自身的”零剂量”与”重复查询”噪声底，而不是对照零。换句话说，先测这个 judge 自身的抖动有多大自然，再判断某条线索造成的漂移算不算偏差。这是本章”先校准再用”那一句的精确化版本。
单一指标无法刻画 MLLM judge 的鲁棒性。该文的三个维度对 5 个 judge 给出的排序并不一致。因此校准报告要按线索类型分列，不要只报一个总一致率——一个”总体一致率 85%“的 judge 可能在”伪造多数意见”这一条上完全失守。
文本基准必须一起跑。多模态训练最容易发生的退化是”视觉涨、文本跌”，只跑多模态基准会得出片面结论。

26.17 工程清单：多模态管线最容易踩的十个坑

#	坑	症状	对策
1	按样本数而非 token 数配比	名义配比与实际配比系统性偏离	全部按 token 记账（26.4）
2	分辨率一刀切	OCR/表格能力差但整体分数不低	按文档类型分档分辨率
3	图像 URL 引用不本地化	训练时静默丢图，症状被误诊	本地化 + 可下载率监控
4	只做精确去重	近重复（裁剪/水印/改色）漏网	pHash + 嵌入聚类两级
5	去污染只查文本	评测图已在训练集里	图像近重复检测通道
6	评测集含盲答样本	分数虚高，上线后崩	MMStar 式纯净集 + 去图测试
7	SFT 数据不去盲答	模型学会不看图就答	去图测试过滤
8	定位数据混入通用对话	对话里开始输出坐标	任务前缀隔离 + 配额 5-15%
9	伪标签不带质量元数据	效果回退无法归因到批次	生成模型版本 + 相似度分入库
10	只跑多模态基准	文本能力静默退化	每次评估同时跑文本基准

26.18 本章小结

多模态数据形态三代演进：图文对（对齐）→ 交错文档（推理）→ 原生统一（生成）；交错文档是当前主战场，MINT-1T（1T token / 34 亿图）是开源标杆，PDF 与 ArXiv 是高知识密度增量源。
多模态不是一种能力：26.3 的能力—数据映射表是配比的起点，必须按”能力 × 域”二维配额，而不是笼统的”多模态数据占比”。
视觉 token 是预算而非度量：分辨率策略、单样本上限、模态 token 比三个旋钮共同决定吞吐与效果；高压缩方案（Q-Former 类）与 OCR/定位能力直接冲突。
交错管线 = 文本管线 + 图像侧新增环节：NSFW/尺寸/宽高比过滤、PDF 阅读顺序解析、LaTeX 源码解析、URL 引用与链接腐烂管理。
图文对的教训：安全过滤前置独立审计（LAION 事故）、水印检测进管线、长期资产本地化；DataComp 把 curation 变成可复现竞赛。
文档智能数据的核心是结构还原 + 分辨率分档 + 可验证 QA 构造；定位数据靠”检测+分割”自动标注管线降本，坐标表示要统一，混入对话需任务隔离。
视频工程四问：在哪切（镜头边界 + 语义缝合，~8.5s 中位）、怎么描述（多教师生成 + 检索仲裁）、时间怎么标（时间戳合成 / 字幕对齐 / 人工定位）、要不要（desirability 六分类 + 匹配分 + 源配额）。
GUI Agent 数据 = 截图与元素树对齐 + 锁死动作空间 + 保留失败轨迹 + 可验证判定器；它是第 22 章”环境即数据”最纯粹的落地。
后训练的核心是锚定性与幻觉：去图测试过滤盲答样本、片段级偏好（RLHF-V/RLAIF-V）、POVID 式主动注入幻觉构造负样本、可验证奖励（bbox IoU / OCR 一致性 / 存在性 / 计数 / 程序化问答）。
视觉推理数据走”可验证奖励驱动自我进化 + 结构化合成”两条路，关键是奖励要能验证中间引用而不只是最终答案。
多模态去污染必须升级为文本 + 图像双通道 + 图文联合指纹；能力闭环靠按维度建 probe 并同时监控文本基准。

课后练习

能力配额设计：参照 26.3 的能力表，为”企业内部文档助手”这个目标产品设计一张配额表（12 行能力维度各自的目标 token 占比），说明你砍掉了哪些维度、为什么。
token 预算推演：给定 8k token/样本的预算，分别计算”一张 1536×2048 文档图（短边 1536、patch 14、pixel shuffle 压缩 4 倍）+ 800 token 配文”和”3 张 448 tile 图 + 500 token 配文”各占多少 token，并说明这两种样本混训时的配比换算陷阱。
管线设计：你要从 10PB WARC 存档构建一个中英文混合的交错数据集。参照 MINT-1T 管线画出完整 DAG，标出每个阶段保留率的合理估计值，并指出中文场景下哪些过滤器需要重写（提示：英文规则误杀中文的问题在第 6 章出现过）。
过滤器权衡：CLIP score 阈值从 0.2 提到 0.3，预期保留率下降多少？这会伤到哪类合法样本？设计一个”软重加权”替代方案。
去图测试实操：取 1000 条多模态 SFT 样本，设计并实现一次”去图测试”过滤（描述实现步骤与判定阈值），估算过滤比例，并预测过滤前后模型在 POPE 上的变化方向。
污染排查：你发现你的 VLM 在 MMMU 上异常高分。给出一个多模态污染排查方案，要求覆盖文本泄漏、图像近重复、图文联合指纹三条路径，并给出判定阈值建议。
GUI 数据方案：设计一个 GUI Agent 数据采集方案，要求：覆盖 Web 与 Android、日均产出 1 万条轨迹、失败轨迹保留率 ≥ 30%、含脱敏审计。画出采集—对齐—判定—脱敏的管线。
思考题：为什么”多教师 + 检索仲裁”优于”单一最强教师”？把这个架构与第 24 章合成数据的验证层做同构映射。进一步思考：视频的时间戳标注能不能也用这个架构？如果能，仲裁器该看什么？

🛠️ 本章衍生工具

🧮

视觉 Token 预算计算器

《AI 数据全书》第 26 章「视觉 token 经济学」配套——固定分辨率 ViT / Qwen2.5-VL 动态分辨率 / InternVL tiling 三策略实时对比，8K/32K 上下文视觉占比堆叠条，8 图 token 差异柱状图演示多模态 packing 难题，压缩三方案(Q-Former/Perceiver/pixel shuffle)代价卡