数据论文速递 · 2026年05月21日

引言

本期速递覆盖数据工程五个关键方向：合成数据生成、基准数据污染防护、因果结构化合成、语义去重与Scaling Laws、预训练表示效率。

合成数据如何既保证语义忠实又覆盖跨文档依赖？基准评估如何抵御预训练语料污染？因果合成数据如何避免LLM先验覆盖？语义重复为何随模型规模变大而加剧？预训练数据量如何决定最优表示维度？以下是本期五篇论文的精炼速递。

---

EmbGen: Teaching with Reassembled Corpora

论文信息：EmbGen: Teaching with Reassembled Corpora · arXiv:2605.19394

核心问题：将小模型适配到专业领域通常依赖昂贵的指令-响应数据SFT，而现有合成数据流水线（如EntiGraph、InstructLab）存在输出同质化、无法捕捉跨段落/跨文档依赖的问题。

关键发现：

• 提出 EmbGen 流水线：将语料库分解为实体-描述对 → 基于嵌入相似度推断语义结构并重新组装 → 通过近邻采样、簇内/簇间采样配合簇专用系统提示生成QA对
• 在语义异质性最强的数据集上，EmbGen 相比最强基线在5M token预算下 Binary Accuracy 提升 12.5%，在20M token预算下提升 88.9%
• 核心创新：利用嵌入空间的语义结构引导语料重组，而非简单从原始文档采样，从而在固定token预算下最大化知识覆盖

实践启示：领域适配不必追求数据量——通过嵌入驱动的语义重组，少量token即可高效覆盖领域知识。对于低资源领域适配场景，EmbGen提供了一条比传统SFT数据收集更经济可行的路径。

---

LLM Benchmark Datasets Should Be Contamination-Resistant

论文信息：LLM Benchmark Datasets Should Be Contamination-Resistant · arXiv:2605.19999 · ICML 2026 Position Paper

核心问题：大量LLM基准数据集被包含在预训练语料中（即被”污染”），严重削弱其作为模型泛化能力衡量指标的可信度。如何从数据设计层面解决这一问题？

关键发现：

• 系统揭示基准数据集污染的广泛存在，主张基准数据集应具备“抗污染性”（contamination-resistant）——即”不可学习”但”可推理”
• 利用Transformer架构中推理管线与训练管线之间的不对称性实现抗污染性：使数据在训练时难以记忆，但在推理时仍可评估模型能力
• 概述了使抗污染基准在多种LLM架构间互操作的数学进展，呼吁社区推进新型抗污染方法、开发支持性平台、将抗污染基准纳入现有评估流程

实践启示：与其事后检测污染（现有方法在RL后训练阶段几乎失效），不如从基准设计源头构建抗污染机制。这对AI评测基准的全生命周期管理具有深远意义——特别是当预训练语料规模持续扩大、污染检测越来越困难时。

---

CausalSynth: Generating Structurally Sound Synthetic Data

论文信息：CausalSynth: Generating Structurally Sound Synthetic Data · arXiv:2605.17528

核心问题：LLM生成的合成数据无法保证遵守目标领域的因果机制——LLM倾向于用预训练先验覆盖施加的因果事实（“语义后门问题”），导致合成数据的因果结构失真。

关键发现：

• 提出 CausalSynth 框架，将因果结构生成与语义实现解耦：① 结构因果模型（SCM）通过祖先采样生成满足全局马尔可夫性质的因果骨架；② LLM作为约束”实现器”将骨架映射为高维观察（如临床笔记）；③ 迭代一致性验证模块检测结构违规并反馈纠正
• 识别出语义后门问题——LLM系统性覆盖因果事实的倾向——并证明迭代机制相比标准拒绝采样减少了选择偏差
• 在ASIA、ALARM和MIMIC-Struct三个因果基准上，CausalSynth的条件独立性假阳性率接近标称α=0.05水平，可实现在96%以上（使用70B LLM骨干），并支持干预和反事实生成

实践启示：合成数据不只是”看起来像”——因果有效性是更深层的要求。对于需要因果推理的领域（医疗、金融），CausalSynth提供了一种将LLM的语言能力与因果结构约束结合的方法，避免”看似合理实则因果失真”的数据。

---

Scale Dependent Data Duplication

论文信息：Scale Dependent Data Duplication · arXiv:2603.06603

核心问题：预训练语料去重通常只关注表面形式匹配，但随着模型能力增强，语义等价文档（如翻译、改写）是否也会产生冗余训练信号？这对Scaling Laws的外推有何影响？

关键发现：

• 语义重复是规模依赖的：① 随着模型能力增强，语义等价文档的交叉熵损失梯度更加对齐——大模型将翻译、改写视为”重复”，小模型则仍区分表面差异；② 嵌入1.92亿篇FineWeb-Edu-Dedup文档后发现，中等规模语料库的最近邻余弦相似度遵循各向同性幂律，但在数千亿token规模时急剧偏离——语义碰撞加速
• 有限唯一性对小模型只造成轻微退化，但对大模型带来快速增加的损失惩罚，打破朴素的Scaling Laws外推
• 推导了显式的Scaling Laws来量化有限语义唯一性导致的偏差，并展示如何从平均最近邻余弦相似度直接估计有效唯一文档数

实践启示：去重不只是数据预处理问题——它是规模依赖的。为7B模型去重合格的语料，到70B时可能仍有大量语义重复。在大规模预训练中，需要引入语义级去重，并据此调整Scaling Laws预测。

---

Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing

论文信息：Optimal Representation Size: High-Dimensional Analysis of Pretraining and Linear Probing · arXiv:2605.20105

核心问题：预训练阶段的表示维度如何影响下游泛化？在预训练数据充足但标注数据稀缺时，应该压缩表示还是保留高维？

关键发现：

• 将预训练建模为无标签数据上的PCA，下游学习建模为有标签数据上的线性回归，在高维情形下推导出训练误差和泛化误差的精确表达式
• 最优表示维度是任务参数的函数：预训练数据充足但下游数据稀缺时，最大化压缩的表示最优；预训练数据有限时，高维表示泛化更好
• 建立了预训练与监督之间的精确权衡：量化了需要多少无标签数据才能替代一个有标签样本
• 在自编码器和预训练LLM中观察到类似现象——优化表示维度对泛化至关重要

实践启示：预训练不只是”数据越多越好”——表示维度与数据量的匹配同样关键。对于数据受限的预训练场景（如领域适配），保留更高维表示比激进压缩更合理；反之，在数据充足时压缩表示反而提升泛化。这为预训练词表大小、隐藏层维度等超参选择提供了理论依据。