数据工程观察 · 2026年06月02日

引言

数据受限时代，如何从有限的有机数据中榨取更多训练信号成为大模型数据工程的核心命题。本期观察聚焦预训练数据扩增的三大前沿方向：（1）从单文档建模迈向跨文档关系建模，以合成方式解锁有机数据的深层价值；（2）数据策展理论的根本性突破——形式化”少即是多”的数学条件；（3）从大规模指令数据策展到对抗式多模态数据合成的工程实践创新。这些进展共同指向一个趋势：数据工程的关注重心正从”数据量”转向”数据的信息效率”。

---

1. Synthetic Bootstrapped Pretraining：文档间关系驱动的合成预训练

事件概述

Apple 联合 Stanford 研究团队在 ICLR 2026 发表 Synthetic Bootstrapped Pretraining (SBP)，提出一种全新的预训练范式：先从预训练语料中学习文档间的关系模型，再利用该关系模型合成大规模新语料，与原始语料联合训练。3B 和 6B 参数模型在 1T token 规模上的实验表明，SBP 一致优于重复训练基线，达到 oracle 上界（20 倍独立数据）60% 的性能提升。

技术细节

• SBP 的核心创新在于建模跨文档关系而非文档内 token 级因果关联。标准预训练仅学习单个文档内的 token 间因果相关性，但忽视了文档间丰富的可学习关联
• 合成文档并非简单改写——SBP 先从种子材料中抽象出核心概念，再围绕概念构建全新的叙述，质量分析显示合成内容超越了同义改写
• 方法具有自然的贝叶斯解释：合成器隐式学习了相关文档间共享的潜在概念分布
• 计算匹配实验设置下，SBP 在 3B/6B 模型上均一致优于重复训练基线

对大模型数据工作的影响

SBP 为数据受限场景下的预训练数据扩增提供了全新路径。传统方法要么重复使用数据（面临过拟合风险），要么依赖外部数据源（质量不可控）。SBP 通过建模文档间关系实现了”从数据中学习数据生成规律”的闭环，这一思路与当前中训练阶段插入高质量数据的设计哲学相呼应——都在尝试利用已有数据中的结构性信号。对于工业界而言，SBP 意味着在无法获取更多独立数据时，仍可通过挖掘文档间关系获得显著的性能提升，且合成数据质量远高于简单改写。

---

2. MGA Reformulation：体裁-受众改写生成7700亿token预训练语料

事件概述

ICLR 2026 收录的 MGA（Massive Genre-Audience）Reformulation 方法，提出了一种系统化的预训练数据扩增框架：通过自适应生成”体裁-受众”对，将已有语料改写为多样化的、上下文丰富的变体。基于此方法构建的 MGACorpus 包含 7700 亿 token，在最高 13B 参数模型上验证了其优于数据重复和上采样的缩放特性。

技术细节

• MGA 不依赖复杂的预定义种子系统，而是自适应地从语料中生成体裁-受众配对（如”学术论文-初学者""新闻报道-专家”），然后按此配对改写原文
• 实验覆盖模型规模从数百 M 到 13B 参数，数据预算从数十亿到数千亿 token，一致验证 MGA 的缩放优势
• 深入分析揭示了合成原则对生成质量的关键作用，并发现标准 loss 指标在评估模型能力时存在微妙差异——loss 下降并不总是对应能力的实质性提升
• 770B token 的 MGACorpus 是当前最大的开放预训练合成语料之一

对大模型数据工作的影响

MGA 的”体裁-受众”改写策略为预训练数据扩增提供了可扩展的模板化方案。与 SBP 的文档间关系建模互补——SBP 侧重关系发现，MGA 侧重形式变换。MGA 的核心启示在于：改写的维度不应是随机的，而应沿着语义空间中有意义的方向展开。此外，MGA 对”loss 下降 ≠ 能力提升”的发现对数据质量评估具有重要警示意义：仅依赖训练 loss 来评估合成数据质量可能产生误导，需要更精细的能力级评估。对中文预训练而言，MGA 的体裁-受众框架可直接迁移，有助于缓解中文高质量预训练数据长期偏少的问题。

---

3. “Why Less is More”：数据策展理论的根本性突破

事件概述

Meta AI 与 Mila、Concordia 大学联合团队在 ICLR 2026 发表论文，首次为”何时使用更少数据反而更好”这一核心悖论建立了严格的理论框架。研究推导出了在标签无关和标签感知策展规则下的精确缩放曲线，揭示了策展策略的相变特征——在特定条件下，小规模策展数据集可以超越全量数据集。

技术细节

• 研究建模了一个不完美预言机按样本难度和正确性选择训练数据的场景
• 推导出测试误差的精确缩放曲线：当策展质量超过特定阈值时，保持数据子集可改善泛化
• 发现了与数据大小和质量关联的相变曲线——类似物理学中的相变，数据策展效果存在突变点
• 在 ImageNet 上的实验验证了理论预测：策展策略在特定条件下提高准确率并缓解模型崩溃
• 该框架为近期 LLM 数学推理中”矛盾策展策略”（有的用简单数据、有的用难题数据均获成功）提供了统一解释

对大模型数据工作的影响

这项工作对数据工程实践具有深远影响。长期以来，数据策展主要依赖经验和试错——“多数据好”是默认假设，而”少数据也好”只是零星观察。本论文将”少即是多”从经验观察提升为有严格数学保证的设计原则，给出了何时应该策展、策展到什么程度的量化判据。对预训练数据管道而言，这意味着在清洗和筛选时不应盲目追求保留率，而应根据数据质量分布判断是否存在策展获益的相变区域。尤其在大规模预训练中，理解这些相变点可以避免对低质量数据的过度投入。

---

4. Infinity-Instruct：两阶段指令数据管线，70B模型超 GPT-4

事件概述

北京智源人工智能研究院（BAAI）发布 Infinity-Instruct，一个系统性指令数据集和管线，通过两阶段流程同时提升大模型的基础能力和聊天能力。Phase 1 从超 1 亿条样本中策展出 740 万条高质量基础指令（InfInstruct-F-7.4M）；Phase 2 通过指令选择、进化与诊断过滤合成 150 万条聊天指令（InfInstruct-G-1.5M）。微调后的 LLaMA3.1-70B 在指令遵循任务上超越 GPT-4-0314 达 8.6%。

技术细节

• Phase 1 采用混合数据选择技术，结合质量评分、多样性采样和去重策略，从海量原始数据中精选出高信息密度的子集
• Phase 2 的指令进化借鉴 Evol-Instruct 思路但增加了诊断过滤层：先选择种子指令、再沿复杂度轴进化、最后通过诊断性测试过滤低质量生成
• 评估覆盖 Mistral、LLaMA、Qwen、Yi 等多个开源模型家族，在基础能力和指令遵循两类基准上均取得显著提升
• 数据集以 CC-BY-SA 4.0 许可在 Hugging Face 公开发布
• 核心发现：基础训练与聊天训练存在协同效应，二者并非零和博弈

对大模型数据工作的影响

Infinity-Instruct 的两阶段管线设计为指令微调数据工程提供了可复用的最佳实践模板。其关键启示有三：一是”从亿级数据中策展百万级精品”的规模化选择策略可行且高效；二是诊断过滤层的引入显著提升了合成指令的可靠性；三是基础能力与指令遵循能力的协同提升证明了两阶段设计的必要性。对于正在构建 SFT 数据管道的团队，Infinity-Instruct 的数据选择-进化-过滤三层架构可以直接参考，尤其在中文场景下，该数据集提供了原生双语支持，填补了高质量中文指令数据的空白。

---

5. R1-SyntheticVL / CADS：对抗式多模态数据合成方法论

事件概述

香港理工大学团队提出 Collective Adversarial Data Synthesis (CADS)，一种面向多模态大语言模型训练数据合成的通用方法。CADS 通过”集体智能保质量 + 对抗学习造难题”的双循环策略，构建了 MMSynthetic-20K 数据集，训练出 R1-SyntheticVL 模型，在多个多模态基准上展现优异性能。

技术细节

• CADS 包含两个循环阶段：CAD-Generate 利用集体知识联合生成多样化的多模态数据；CAD-Judge 协作评估合成数据质量
• 引入对抗式上下文优化（Adversarial Context Optimization）机制，优化生成上下文以鼓励生成具有挑战性和高价值的样本
• 集体智能来自多个模型/视角的协同生成，避免单一教师模型的偏差传播
• 对抗学习确保合成数据持续推动模型能力的边界——模型已经擅长的任务不再被过度生成
• MMSynthetic-20K 虽规模仅 2 万条，但每条都经过对抗筛选，信息密度极高

对大模型数据工作的影响

CADS 的核心贡献在于将对抗训练的思想从模型训练层面迁移到数据合成层面。当前多模态合成数据的普遍问题是”容易的样本过多、困难的样本不足”，CADS 通过对抗式上下文优化直接解决了这一痛点。2 万条精选数据胜过数十万条随机合成的启示，与前述”少即是多”的理论框架形成呼应——数据价值的关键不在于数量而在于信息效率。对于多模态训练数据工程，CADS 提供了一条可扩展的路径：先通过集体智能确保覆盖度，再通过对抗筛选提升难度和多样性，最后用小规模精选数据驱动大模型能力跃升。