数据工程观察 · 2026年04月29日

本周数据工程领域迎来密集产出。从万亿 token 级合成预训练数据的系统性实验，到 Google 将合成数据生成升格为”数据集层面的机制设计”，再到学术界用 1.17 万条样本打穿大厂数据护城河——一个清晰的信号正在浮现：数据工程的核心正从”量”转向”质”与”设计”。与此同时，关于大模型记忆训练数据的受控研究也为数据治理提供了新的实证基础。

---

FinePhrase：万亿 Token 级合成预训练数据系统性研究

事件概述

Hugging Face 联合多所高校的研究团队发表论文（arXiv:2604.13977），对合成预训练数据的三大设计维度——复述策略、生成器模型、源数据——进行了系统性受控实验。团队生成了超过 1 万亿 token 的合成数据，最终开源了 4860 亿 token 的 FinePhrase 数据集，在所有现有合成数据基线上取得最优，且生成成本降低高达 30 倍。

技术细节

• 结构化输出格式是关键发现：将网页文本转化为表格、数学题、FAQ、教程等结构化格式，一致性地优于简单复述和现有合成方法。这颠覆了”忠实复述即可”的直觉，表明信息密度的组织形式比内容本身更影响预训练质量。
• 生成器模型超过 1B 参数无额外收益：这是一个具有重大经济意义的结论。用小模型做合成数据生成器，既省钱又不牺牲质量，直接降低了合成数据的生产门槛。
• 源数据选择显著影响下游性能：并非所有原始数据等价，进入合成管线前的数据筛选至关重要。

对大模型数据工作的影响

FinePhrase 的结论为合成预训练数据提供了可操作的工程指南：优先采用结构化格式设计 prompt、无需追求大参数生成器、在合成前做好源数据筛选。4860 亿 token 的开源数据集本身也是一个可直接复用的高质量预训练语料。对于受数据瓶颈制约的中小团队，这意味着合成数据不再是”将就”——正确设计下，它可以超越精选网页基线。

---

Google Simula：推理优先的合成数据引擎

事件概述

Google 研究团队在 TMLR 上发表论文公开 Simula 框架——一个将合成数据生成从”逐条造数据”升级为”设计整个数据集”的推理优先框架。Simula 已在 Google 内部大规模部署，是 ShieldGemma（安全过滤）、MedGemma（医疗）、FunctionGemma（函数调用）等专用模型的主要数据来源，也为 Gemini 安全分类器、Android 通话诈骗检测等提供训练数据。

技术细节

Simula 将数据生成拆解为四个独立可控的步骤：

1. 全局多样化：基于推理的递归扩展机制，无需人工种子数据即可完整映射目标领域的概念空间。通过”提议-评审”循环动态构建密集层级分类体系。
2. 局部多样化：从分类节点生成”元提示”（场景描述），再对同一场景产出多个差异化实例，防止模式坍缩。
3. 复杂度控制：将复杂度作为与语义覆盖正交的轴独立调节，可精确控制数据集的难度分布而不牺牲覆盖广度。
4. 质量验证：采用”双裁判”循环，两个独立模型分别评估生成答案的正确性，缓解模型谄媚倾向（sycophancy），无需人工介入。

对大模型数据工作的影响

Simula 的核心贡献是重新定义了合成数据的生产范式：从单样本优化到数据集层面的机制设计。这对于隐私敏感或数据稀缺领域（医疗、法律、安全）尤其重要——无需种子数据即可从零构建专用训练集。正交复杂度轴的设计让数据工程师可以像调参一样调节数据集的难度分布，而双裁判机制则为自动化质量保证提供了可复用的方案。Simula 的实验还揭示了一个重要发现：不存在单一的”最优”数据生成方法，高质量数据与下游性能的关系高度依赖上下文——这提醒我们在数据工程中避免”一招鲜”思维。

---

OpenSeeker：1.17 万样本打穿大厂数据护城河

事件概述

上海交通大学研究团队推出 OpenSeeker——首个纯学术团队打造、完整开源模型 + 100% 全量训练数据的前沿深度搜索 Agent。在约 30B 参数量、纯 ReAct 架构下，OpenSeeker 仅用 11.7k 合成样本进行单轮 SFT，即在 BrowseComp、BrowseComp-ZH、xbench-DeepSearch、WideSearch 等多个前沿榜单上取得 SOTA，其中 BrowseComp-ZH 超越了阿里通义 DeepResearch（后者使用 CPT+SFT+RL 多阶段训练）。

技术细节

数据效率的核心来自两项合成方法论创新：

• 事实锚定的可扩展可控 QA 合成：反向工程网页图谱，从种子页面出发进行拓扑扩展，将互连信息聚类蒸馏为实体子图；通过”实体混淆”将具体实体替换为模糊描述，强制多步推理而非关键词捷径；双标准拒绝采样确保问题既足够难（强模型无工具无法回答）又逻辑可解（有 oracle 上下文时能回答）。
• 去噪轨迹合成：针对原始网页观察噪声导致教师模型产出低质量动作的问题，采用非对称上下文训练——教师端接收摘要化的长期历史 + 原始近期上下文产出高质量决策，学生端接收原始未摘要上下文预测教师决策，迫使学生内化去噪能力。

对大模型数据工作的影响

OpenSeeker 的意义远超搜索 Agent 本身。它用实验证明：11.7k 高质量合成样本 + 单阶段 SFT，可以超越 147k 样本（MiroThinker）和 CPT+SFT+RL 多阶段流水线（通义 DeepResearch）。这直接挑战了”数据量等于性能”的行业共识。对于数据工程实践，它提供的启示是：与其堆量，不如在合成方法论上下功夫——实体混淆、拒绝采样、非对称上下文训练这些技术组合，可能是比扩大数据规模更高效的能力提升路径。全量训练数据的开源更是稀缺资源，搜索 Agent 的训练轨迹此前几乎没有项目完整公开过。

---

Hubble：大模型记忆训练数据的受控实验套件

事件概述

南加州大学（USC）与马克斯·普朗克软件系统研究所等机构在 ICLR 2026 Workshop DATA-FM 上发布 Hubble——一组基于 Llama 3 架构的全开源受控大模型套件，包含 14 个模型（1B 和 8B 参数量，在 100B 和 500B token 上预训练），专门用于研究 LLM 对训练数据的精确记忆机制。

技术细节

• 受控插入设计：Hubble 的核心创新是”扰动模型”——在标准预训练流程中插入可控文本（书籍段落模拟版权风险、人物传记模拟隐私风险、测试集模拟基准污染），通过随机化插入使其成为成员推断和机器遗忘研究的理想测试平台。
• 关键发现：（1）记忆由敏感数据在语料中的相对频率决定——同一敏感数据在小语料中比大语料中被记忆得更好，语料规模实质上”稀释”了敏感数据；（2）缺乏持续暴露的敏感数据会被遗忘——6 个阶段变化模型证明，早期插入但未强化出现的数据随训练推进可被遗忘。
• 实践建议：稀释敏感数据（增大训练语料规模）和将敏感数据安排在训练早期（使其更容易被遗忘）是降低记忆风险的两个可行策略。

对大模型数据工作的影响

Hubble 为数据治理提供了因果层面的实证基础。此前，关于大模型记忆训练数据的讨论多停留在观察性结论，难以建立因果关系——因为你无法控制”哪些数据进入了训练集”这一变量。Hubble 的受控设计首次让研究者可以精确操纵训练数据的组成，观察其对模型行为的因果影响。对于数据清洗管线中的版权过滤、隐私脱敏、基准去污染等环节，Hubble 的发现提供了量化依据：语料规模本身就是一种隐私保护机制，而过早暴露但后续不重复的数据自然会被”遗忘”。这套受控模型也为评估数据去污染工具和机器遗忘算法提供了标准化的基准。