数据工程观察 · 2026年05月11日

引言

数据工程正在从”量变”走向”质变”。本期的五项进展分别触及数据工程的不同环节：选择——如何从海量候选中精准挑选最有利于目标任务的样本；组织——如何以最小信息损失的方式将变长文本组织为训练序列；策展——如何构建特定语言/领域的高质量预训练语料；安全性——如何在利用合成数据的同时规避模型崩溃风险；方法论——如何在统计可控的前提下实现结构感知的数据合成。这些工作共同指向一个趋势：数据工程正在从经验驱动走向理论驱动，从粗粒度走向细粒度。

---

Influence Distillation：二阶信息驱动的大规模数据选择

事件概述

ISTA（奥地利科学技术研究所）与 Google Research 联合提出 Influence Distillation（影响力蒸馏）框架，利用二阶信息对训练样本进行最优加权，实现面向目标任务的高效数据选择。论文发表于 arXiv:2505.19051。

技术细节

• 核心思路：将每个训练样本对目标分布的”影响力”蒸馏为模型特定的权重，用该权重指导数据选择。与仅使用一阶梯度信息的方法不同，Influence Distillation 利用二阶信息（Hessian 相关）捕捉样本对参数更新的二阶效应，理论上更为完备。
• 优化器支持：分别为梯度下降和 Adam 优化器推导了最优权重公式，适配不同训练场景。
• 可扩展性方案：提出 Landmark 近似策略——仅对少量”地标样本”精确计算影响力，再高效传播至全部样本，大幅降低计算成本。
• 实验验证：在 Tulu V2 数据集上进行指令微调，目标涵盖 GSM8k、SQuAD、MMLU 等任务，跨 Llama 和 Qwen 模型家族进行评估。结果匹配或超越 SOTA，同时选择速度提升最高 3.5 倍。

对大模型数据工作的影响

数据选择是预训练和微调阶段的核心难题。Influence Distillation 的贡献在于：(1) 将二阶信息引入数据选择，理论上更优且实验验证有效；(2) Landmark 近似使方法在万亿级语料场景下可行；(3) 统一了梯度下降和 Adam 的选择框架，实用性广。该方法特别适合从大规模候选池中为特定下游任务精准筛选训练数据，有望替代当前基于启发式或一阶梯度的筛选方案。

---

Seamless Data Packing：持续预训练的上下文连续性优化

事件概述

复旦大学团队提出 Seamless Packing（SP）策略，通过两阶段方法解决持续预训练中数据打包的上下文断裂与过度截断问题。论文被 ACL 2025 Findings 接收（arXiv:2505.22018）。

技术细节

• 问题定义：传统拼接截断法（Concatenation and Truncation, CT）将所有文本首尾拼接后按固定长度切分，导致两个关键问题——上下文断裂（语义相关内容被割裂到不同序列）和过度截断（关键信息丢失，甚至引发幻觉）。
• 第一阶段——滑动窗口：针对长文本，通过带重叠的滑动窗口切分序列，相邻序列之间共享重叠 token，确保上下文连贯性。重叠长度由可配置的最大重复率控制。
• 第二阶段——FFD 装箱：针对短文本，采用 First-Fit-Decreasing 算法将短文本打包到略大于目标序列长度的 bin 中，最小化 padding 和截断。
• 实验结果：跨多种模型架构和语料领域，在 99% 的设置中超越基线方法。代码已开源（GitHub: seamless-packing）。

对大模型数据工作的影响

数据打包是预训练中不起眼但影响深远的工程环节。上下文断裂直接影响模型学习长距离依赖和事实关联的能力，而过度截断则在摘要、推理等任务中引发幻觉。SP 策略的价值在于：(1) 将打包问题从”工程惯例”提升为”优化问题”；(2) 两阶段方法分别解决长短文本的打包痛点，实用性强；(3) 99% 胜率表明该策略具有广泛适用性。这一工作提示我们，数据工程的优化空间不仅在于”选什么数据”，也在于”如何组织数据”。

---

Aleph-Alpha-GermanWeb：模型化策展与合成数据融合的领域语料构建范式

事件概述

Aleph Alpha Research 发布 GermanWeb 数据集及构建流水线，将启发式过滤、模型化质量分类与条件合成数据生成融合为统一的德语预训练语料策展流程。论文被 EACL 2026 接收（arXiv:2505.00022）。

技术细节

• 数据集构成：628B 词（约 3 个子集）——Common Crawl 有机数据（78B 词）、FineWeb2 有机数据（235B 词）、基于有机 Web 数据条件生成的合成数据（329B 词，占比超 50%）。
• 策展流水线：(1) 启发式过滤（语言识别、长度、重复率等）；(2) 模型化分类——训练 fastText 质量分类器和语法分类器进行细粒度筛选（均已开源）；(3) 条件合成——以有机 Web 文档为种子，条件生成合成文本，确保合成数据与真实数据语义对齐。
• 评估：从零预训练 1B Llama 模型和 8B 无分词器分层自回归 Transformer（HAT），在德语基准（含 MMMLU）上显著超越 FineWeb2。即使 FineWeb2 加入 Wikipedia 等人工策展高质量数据，优势仍然存在。

对大模型数据工作的影响

GermanWeb 展示了一个可复现的领域语料构建范式：(1) 有机数据 + 合成数据融合，合成数据占比过半但仍保持高质量；(2) 模型化过滤取代纯启发式规则，细粒度质量分类器可直接复用；(3) 条件合成确保合成数据锚定在真实数据分布上。对于中文、日文等非英语语料的构建，该流水线具有直接参考价值。开源的质量/语法分类器也可直接集成到其他语料的策展流程中。

---

Token-Level Editing：理论保证无模型崩溃的半合成数据生成

事件概述

北京通用人工智能研究院（通研院）与上海交通大学等机构在 ICML 2025 上发表论文，系统剖析合成数据导致模型崩溃的机制，并提出 Token-Level Editing 方法，通过在真实数据上进行细粒度 token 级微编辑生成半合成数据，理论证明可避免模型崩溃（arXiv:2412.14689）。

技术细节

• 问题分析：在预训练中混入不同比例的合成数据，发现合成数据比例与模型性能呈负相关。统计层面揭示合成数据存在分布偏移（distributional shift）和 n-gram 特征过度集中现象。
• 核心方法——Token-Level Editing：不对真实数据进行生成式替换，而是在人类产出数据上执行细粒度的 token 级微编辑操作（如同义词替换、句式微调等），生成”半合成”数据。
• 理论保证：证明了 token-level editing 下测试误差被有限上界约束，不会出现迭代训练中性能持续退化的模型崩溃现象。
• 实验验证：在从零预训练、持续预训练和监督微调三种场景下均验证了方法的有效性。

对大模型数据工作的影响

模型崩溃是合成数据应用于大模型训练的最大隐忧。Token-Level Editing 的贡献在于：(1) 从统计层面解释了合成数据导致崩溃的根源——分布偏移和 n-gram 过度集中；(2) “改写而非生成”的半合成策略，在保留真实数据分布骨架的同时实现数据增强；(3) 理论保证为合成数据的安全使用提供了数学基础。这一工作与 SwallowCode/SwallowMath（Volume 34）的”改写而非丢弃”范式形成呼应，进一步证实了”编辑式数据增强”优于”从头生成”的共识。

---

LLMSynthor：统计可控的结构感知数据合成框架

事件概述

麦吉尔大学团队提出 LLMSynthor 框架，将大语言模型转化为”结构感知的数据模拟器”，通过统计对齐反馈实现迭代式数据合成，在隐私敏感和数据稀缺场景下生成统计可信、语义合理的合成数据（arXiv:2505.14752）。

技术细节

• 四步迭代合成循环：
  1. 结构推理：利用 LLM 模拟 Copula 函数，推理高维变量间的依赖关系。LLM 的预训练知识内化了人类行为和社会结构的变量共现模式，结合统计摘要推断高阶关系。
  2. 统计对齐：通过统计摘要（变量分布、联合频率）比较合成与真实数据的差异，而非直接对比原始数据，在保护隐私的同时提供可归因的偏差定位。
  3. 分布生成而非样本生成：LLM 输出可采样的分布规则（proposals）而非单条记录，支持批量采样和多模态扩展（可协调图像生成器等）。
  4. 迭代对齐：结构推理→统计比较→规则生成→新数据采样不断循环，直至收敛。
• 理论保证：局部结构一致性定理——在合理假设下，有限次迭代可将偏差收敛到任意可控范围。
• 实验结果：在电商交易、人口微数据、城市出行模拟三个场景下，边际/联合分布误差、政策指标精度均显著优于现有方法。支持 Qwen-2.5-7B 等开源模型运行。

对大模型数据工作的影响

LLMSynthor 的重要意义在于将”数据合成”从黑箱式生成提升为有理论保证的统计工程：(1) “生成分布而非样本”的思路将合成效率提升了一个数量级；(2) 统计对齐的迭代机制确保合成数据不偏离真实分布，解决了合成数据可信度问题；(3) 可归因的偏差定位使调试和优化有了明确方向。对于预训练语料扩展、隐私合规数据替换、低资源领域数据增强等场景，LLMSynthor 提供了一套可复用的方法论框架。其与 Token-Level Editing 的区别在于：后者关注避免模型崩溃的安全底线，前者追求统计可控的高保真合成，两者互补。