数据工程观察 · Vol.34

数据工程观察 · 2026年05月09日

本期聚焦预训练数据缩放定律、数据重写方法论、合成混合训练范式、知识图谱驱动合成数据及梯度匹配合成文本生成——从理论到实践，全方位审视训练数据工程的前沿进展

数据工程 预训练数据 缩放定律 合成数据 数据重写 知识图谱 梯度匹配 数据质量 代码生成 数学推理

引言

数据工程的边界正在从经验驱动走向理论可预测。本期聚焦五项关键进展：InfoLaw 将信息论引入缩放定律，首次实现对数据质量、混合配比与重复训练的联合预测；SwallowCode/SwallowMath 验证了”改写而非丢弃”的预训练数据提效范式；Synthetic Mixed Training 打破合成数据训练的性能天花板，证明 QA+文档混合可超越 RAG；GraphGen 以知识图谱锚定合成数据的覆盖深度与长尾知识；而梯度匹配合成文本生成则首次为合成数据提供了收敛性、性能与隐私的三重理论保证。这些工作共同指向一个趋势——训练数据工程正在从”多即好”走向”精确即好”。

InfoLaw：数据感知的信息缩放定律

事件概述

ICML 2026 接收论文 InfoLaw（arXiv:2605.02364）提出了一种数据感知的缩放定律框架，将预训练建模为信息累积过程，其中数据质量控制信息密度、重复训练引发规模依赖的边际递减效应。该框架能够基于 token 消耗量、模型大小、数据混合权重与重复水平四个维度预测模型损失，在 7B 参数、425B token 规模下实现 0.15% 平均绝对误差和 0.96% 最大绝对误差。

技术细节

  • 核心创新在于将预训练过程形式化为信息累积：高质量数据提供更高信息密度，重复数据在相同 token 上产生的边际信息递减。
  • 传统缩放定律（Chinchilla Law 等）无法跨数据配方或重复场景可靠外推，InfoLaw 通过引入数据质量和重复的显式建模解决了这一问题。
  • 实验覆盖不同规模、质量分布与重复水平的数据集训练，构建信息模型后实现跨配方、跨规模的精确预测。
  • 实际应用：在不同计算预算下高效选择最优数据配方，无需大量试错实验。

对大模型数据工作的影响

InfoLaw 是数据工程从经验法则走向定量科学的里程碑。此前，预训练数据配比选择依赖大量消融实验，成本高昂且难以迁移；InfoLaw 使团队能在小规模实验中建立信息模型后外推至生产规模，大幅降低数据配方优化的实验成本。其”质量→信息密度、重复→边际递减”的建模思路，也为理解 midtraining 数据阶段的重复训练行为提供了理论框架。该工作对 midtraining 数据集的配比设计（如 TxT360-MidAS 的四阶段配比策略）有直接指导意义。

SwallowCode 与 SwallowMath：预训练数据”改写而非丢弃”范式

事件概述

东京工业大学研究团队发布 SwallowCode（≈161 亿 token）与 SwallowMath（≈23 亿 token）两个预训练数据集（arXiv:2505.02881），提出”Transform-and-Retain”方法论：通过系统性重写低质量数据而非简单过滤丢弃，在 500 亿 token 固定训练预算下，Llama-3.1-8B 的 HumanEval pass@1 提升 +17.0，GSM8K 准确率提升 +12.4。数据集基于 Llama 3.3 Community License 开源。

技术细节

  • SwallowCode 四阶段流水线：语法验证 → Pylint 风格过滤 → 风格引导代码重写（SGCR）→ 自包含优化重写（SCOR）。两阶段 LLM 重写使用 Llama-3.3-70B-Instruct，分别强化风格一致性和算法效率。
  • SwallowMath 三阶段处理：移除样板代码 → 上下文恢复 → 解题方案重写为 CoT 格式。核心思想是将 Finemath-4+ 中的数学解答从直接给出答案的形式转化为逐步推理格式。
  • 消融实验表明每个流水线阶段均有贡献，其中重写阶段贡献最大。与基于 LLM 的评分过滤相比，重写方法虽然需要 1.22 倍计算资源，但在 HumanEval/HumanEval+ 上的收益远超过滤策略。

对大模型数据工作的影响

SwallowCode/SwallowMath 的核心启示是”改写优于丢弃”——传统数据清洗以过滤为核心思路，大量低质量数据被直接丢弃；而重写方法论将低质量数据转化为高质量数据，最大化数据利用率。这一思路对预训练语料库建设有深远影响：在数据枯竭焦虑加剧的背景下（Epoch AI 预测高质量文本数据将于 2026-2032 年耗尽），提升现有数据质量的价值远高于寻找新数据源。对代码与数学领域的预训练数据工程而言，该工作也提供了可复制的流水线模板。

Synthetic Mixed Training：突破 RAG 天花板的参数化知识获取

事件概述

斯坦福大学与华盛顿大学联合团队提出 Synthetic Mixed Training（arXiv:2603.23562），通过混合合成 QA 与合成文档两种训练信号，解决了单一合成数据方法在规模扩展时遭遇的边际递减与 RAG 性能天花板问题。Llama 8B 模型在 QuaLITY 长文档阅读理解基准上相对 RAG 提升 4.4%，在六个评测设置中五个超越 RAG，与 RAG 联合使用时获得 9.1% 增益。

技术细节

  • 核心发现：单纯增加合成 token 数量或使用更强的生成器，合成数据训练的性能提升会在 RAG 性能水平以下趋于饱和——这是此前未被充分认识的瓶颈。
  • 解决方案：将合成 QA（提取式知识信号）与合成文档（分布式知识信号）混合训练，利用两者互补的训练信号实现 log-linear 缩放，而非递减收益。
  • 引入 Focal Rewriting 技术：显式地以特定问题为条件生成合成文档，提升合成文档的多样性与信息密度，获得更陡峭的 log-linear 缩放曲线。
  • 跨基准验证：在 QuaLITY、LongHealth、FinanceBench 三个知识密集型基准上均验证了方法有效性。

对大模型数据工作的影响

该工作对合成数据缩放的理论认知有重要推进——它揭示了单纯扩展合成数据量或提升生成器强度无法突破 RAG 性能上限的根本原因，并提供了混合训练信号作为解法。这对 midtraining 阶段的数据设计有直接启示：当模型需要获取特定领域知识时，仅用合成 QA 或合成文档单一格式不足以超越检索增强，必须组合两种信号。Focal Rewriting 技术也为合成文档生成提供了新思路——以问题为导向生成文档，而非盲目扩展文档量。

GraphGen：知识图谱驱动的长尾知识合成数据框架

事件概述

OpenScienceLab 团队发布 GraphGen（arXiv:2505.20416），一种基于知识图谱的合成数据生成框架，针对原子 QA、聚合 QA 和多跳 QA 三种场景设计。通过从源文本构建细粒度知识图谱、利用期望校准误差（ECE）识别模型知识缺口、多跳邻域采样与风格控制生成，GraphGen 在知识密集型任务的闭书设置下显著优于传统合成数据方法，专有领域提升达 12.7 分。框架已开源。

技术细节

  • 知识图谱构建：从源文本提取实体与关系，构建细粒度知识图谱，为合成数据提供结构化知识基础。
  • 知识缺口识别：利用 ECE（Expected Calibration Error）指标量化模型在哪些知识点上”自信但错误”，优先为这些高价值、长尾知识生成 QA 对。
  • 多跳邻域采样：不仅生成单跳事实问答，还通过多跳邻域采样捕获实体间的复杂关系信息，支持多跳推理训练。
  • 风格控制生成：通过控制生成风格（如正式/口语、简洁/详细）增加合成数据的多样性，避免输出同质化。
  • 2026 年持续更新：已支持 HuggingFace 数据集直读、垂域评测数据生成（选择/填空/判断题型）、知识图谱评估指标（实体/关系抽取质量、冲突检测、结构鲁棒性）。

对大模型数据工作的影响

GraphGen 的核心贡献在于将合成数据生成从”盲打”升级为”定向覆盖”——通过知识图谱精确定位模型的知识盲区，然后有针对性地生成补强数据。这对大模型 SFT 数据工程尤其有价值：传统方法往往在高频知识上过度训练而在长尾知识上欠拟合，GraphGen 的 ECE 驱动的缺口识别策略有效解决了这一不均衡。其多跳邻域采样机制也为关系推理型合成数据的设计提供了可借鉴的模式。

梯度匹配合成文本生成：首个具三重理论保证的合成数据方法

事件概述

UCLA 与 Google Research 联合团队在 ICML 2025 发表梯度匹配合成文本生成方法（arXiv:2502.17607），首次为 LLM 合成数据提供了收敛性、性能与隐私的三重理论保证。该方法使用 ADMM（交替方向乘子法）迭代优化合成样本的嵌入表示，使其匹配目标训练数据的噪声梯度，再映射为低困惑度的可读文本。代码已在 GitHub 开源。

技术细节

  • 核心算法 ADMM-GRADMM：交替优化合成样本的嵌入向量以匹配真实数据的梯度方向，然后通过低困惑度映射将嵌入转化为可读文本 token 序列。
  • 收敛保证：理论证明在合成数据上微调的模型会收敛到真实数据微调解的近邻域——这是合成数据领域首个形式化收敛保证。
  • 隐私保证：合成文本不直接包含真实数据的信息，在提供性能保证的同时保护训练数据隐私——这对医疗、金融等隐私敏感领域有直接应用价值。
  • 实验验证：在多个分类任务上验证了方法有效性，合成数据训练的模型性能与真实数据训练相当。

对大模型数据工作的影响

该工作为合成数据的”可用性”问题提供了最严格的理论回答。此前，合成数据是否真能替代真实数据、是否会导致隐私泄露，主要依赖经验验证而缺乏理论保证。梯度匹配方法的形式化保证意味着团队可以放心地用合成数据替代真实数据进行微调，而不用担心性能退化或隐私风险。这对合规性要求高的训练数据场景（如医疗 LLM、金融 LLM）尤其重要。该方法目前的局限在于主要验证于分类任务，如何扩展到生成式任务和预训练阶段是未来方向。

总结

本期五项进展勾勒出数据工程的三个前沿方向：理论可预测性（InfoLaw 的缩放定律、梯度匹配的收敛保证）、数据提效范式（SwallowCode/SwallowMath 的重写方法论、Synthetic Mixed Training 的混合信号）与知识定向覆盖（GraphGen 的图谱驱动缺口识别）。当”数据墙”逼近，数据工程的核心命题已从”如何获取更多数据”转向”如何让每一份数据发挥最大价值”——无论通过更精确的缩放定律预测最优配比、通过重写提升现有数据质量、还是通过知识图谱定向补强模型盲区，都是在同一个方向上用力：以更少的数据，做更好的模型。