论文精读

Scale-Dependent Data Duplication 研究报告

数据去重策略与模型规模的关系研究

2026年3月13日数据去重预训练数据 Scaling

Scale Dependent Data Duplication 精读报告

论文基本信息

属性	详情
标题	Scale Dependent Data Duplication
副标题	Semantic Collisions and the Scale-Dependence of Effective Duplicates
作者	Joshua Kazdan, Noam Levi, Rylan Schaeffer, Jessica Chudnovsky, Abhay Puri, Bo He, Mehmet Donmez, Sanmi Koyejo†, David Donoho†
机构	Stanford University (统计系 & 计算机系), EPFL AI4Science, ServiceNow Research, IMC Trading
发布时间	2026 年 3 月 10 日 (arXiv: 2603.06603)
论文类型	Preprint
领域	cs.LG, cs.AI
核心主题	预训练数据中的语义重复、Scaling Law 失效与修正
论文链接	arXiv

一、研究动机与核心问题

1.1 背景：数据规模的急剧膨胀

现代语言模型的训练规模正以惊人的速度扩张。Llama 1 使用约 1T tokens 训练，而 Llama 4 的训练数据已达 40T tokens——短短几代模型之间，训练数据量增长了 40 倍。在这种规模下，即使极小比例的重复数据也会实质性地减少有效训练样本数量，从而损害下游性能。这一现实推动了学界和工业界对去重(deduplication)的高度重视。

1.2 传统去重的盲区

目前的主流去重方法（MinHash、SimHash 等）专注于删除”表面形式”上的精确重复和近似重复文档。然而，这篇论文提出了一个关键洞察：什么算作”重复”，取决于模型本身的能力。

想象两篇文章——一篇英文原文和一篇中文翻译。它们在表面形式上截然不同（不同语言、不同字符），任何基于哈希的去重方法都不会将它们视为重复。但对于一个足够强大的多语言模型而言，这两篇文档传达的是完全相同的语义信息。当这样的模型在训练时同时看到这两篇文档，它所接收到的梯度更新方向几乎是一样的——从训练信号的角度，它们就是”重复的”。

1.3 核心命题

论文的核心命题可以概括为一句话：

数据重复是”规模依赖的”（scale-dependent）——随着模型能力的增长，越来越多的语义等价文档会表现得像精确重复一样，而大规模语料中这种”语义碰撞”的数量远超基于小语料趋势的预测。这两个效应叠加，构成了对大规模模型训练的隐性威胁。

二、三大核心发现

本文的研究分为三个相互关联的实验部分，层层递进地论证了上述核心命题。

2.1 发现一：语义敏感性随模型能力涌现（Section 2）

实验设计： 从 FineWeb-Edu-Dedup 数据集中采样 N=1000 篇文档，对每篇文档施加一系列”语义保持变换”——包括交换字符（SwapCharacters，概率 0.05）、随机丢词（DropWords，概率 0.05）、大小写交替（CapitalizeHumps）、以及翻译为中文/法语/德语（使用 Google Translate API）。然后，对不同规模和不同训练阶段的模型，计算原始文档和变换后文档之间的逐文档梯度余弦相似度。

关键公式： 梯度的计算基于标准的 next-token 交叉熵损失：

$g(x;\theta) = \nabla_\theta \ell(x_i;\theta)$

其中 $\ell(x;\theta) = \frac{1}{|x|}\sum_{u=1}^{|x|} CE(f_\theta(x)_u, x_{u+1})$

对于语义保持变换 $\tau$ ，计算正样本相似度 $s_i^+(\tau) = \text{sim}_\theta(x_i, \tau(x_i))$ ；对于无关文档对，计算负样本基线相似度。

核心结果（Figure 1 & 2）：

小模型/弱模型： 梯度相似度被表面特征主导（语言、大小写等）。多种语义保持变换（特别是翻译）产生的梯度与无关文档对的基线相似度相当甚至更低。这意味着小模型”看不到”语义——它根据表面形式区分文档。
大模型/强模型： 语义保持变换后的文档与原文档产生的梯度高度对齐，显著高于无关文档对的基线。这意味着大模型能”透过表面看到语义”——翻译对、大小写变体对它而言在训练信号层面几乎等价。
训练过程中的涌现： 对于固定模型族（如 Qwen），AUC（区分正/负样本的能力）随训练步数增加而持续上升。更大的模型在更少的训练步数内就能达到同等 AUC 水平。

解释框架： 论文引入了一个关键参数 $\rho(s)$ ——语义敏感性比率：

$\rho(s) := \frac{E\|\delta_z(\theta(s))\|_2^2}{E\|g(x;\theta(s))-\mu(\theta(s))\|_2^2} \in [0,1]$

其中梯度被分解为三个分量： $g(x;\theta) = \mu(\theta) + \delta_z(\theta) + \xi_x(\theta)$ ，分别是全局均值、语义分量和表面/特异性分量。 $\rho(s)$ 捕捉了梯度能量中被语义分量解释的比例。实验证据表明， $\rho(s)$ 随模型能力和训练进度单调增加。

意义： 这一发现提供了一个机制性解释——为什么同一数据集对更强的模型来说”有效规模更小”。当 $\rho(s) \to 1$ ，翻译对、改写对等语义等价文档在训练中产生的梯度更新几乎完全对齐，其效果等同于精确重复。

2.2 发现二：语义碰撞率在大规模下指数加速（Section 3）

实验设计： 使用 EmbeddingGemma-300m 模型对 FineWeb-Edu-Dedup 的全部约 1.92 亿文档进行嵌入（该模型支持 Matryoshka Representation Learning，产生 768/512/256/128 四种嵌套维度的嵌入）。从中采样不同大小的子集（ $10^4$ 到 $10^8$ 篇文档），使用 FAISS 计算每个子集中的最近邻(NN)余弦相似度统计量。

定义： 最近邻相似度 $M_i := \max_{j \neq i} \langle v_i, v_j \rangle$ ，余弦间隙 $\Delta_i := 1 - M_i$ 。

核心结果（Figure 3 & 4）：

中等规模（< 1M 文档）： 平均最近邻余弦间隙严格遵循幂律 $E[\Delta_i] \propto N^{-2/d}$ （与各向同性/vMF 基线一致）。在 log-线性坐标下，余弦相似度的下降近似线性。
大规模（> 10M 文档）： 经验曲线急剧偏离幂律基线，余弦间隙的下降速度远超任何基于小 N 拟合的幂律预测。这意味着大规模语料中存在远超预期的高密度语义近邻。
嵌入维度的影响： 较小的嵌入空间（128 维）中碰撞出现更早、更严重，符合直觉——低维空间中”语义坍缩”更容易发生。
尾部概率加速： 对于固定阈值 T，满足 $M_i \geq T$ 的文档比例随数据集规模指数增长。

合成数据的警告（Figure 5）： 论文还对完全合成的预训练数据集 Recycling-the-Web（Nguyen et al., 2025，4400 万文档）重复了相同实验。结果表明，合成数据集的幂律崩溃比真实数据早了一个数量级。这直接挑战了”用合成数据弥补真实数据不足”的策略——如果合成数据的语义多样性本身就不够，那么简单增加 token 数量并不能拯救 scaling law。

双重威胁的汇聚： 将发现一和发现二结合起来，论文揭示了一个恶性循环——更强大的模型（发现一：更高的 $\rho$ ）需要在更大的语料上训练（发现二：更多的语义碰撞）。这两个效应叠加，构成了”可预测扩展”的隐性障碍。

2.3 发现三：有限语义唯一性打破朴素 Scaling 外推（Section 4）

实验设计： 从 FineWeb-Edu-Dedup 中采样大小为 K 的唯一文档池（K 从 $10^5$ 到 $10^8$ ），通过有放回采样构建训练数据流（这会自然地产生精确重复，作为语义重复的悲观代理）。训练一系列 Chinchilla-optimal 的 decoder-only Transformer（基于 Qwen 架构，34M–344M 参数），同时维持一个”近似无限唯一数据”基线（无放回采样）。

核心结果（Figure 6）：

小模型： 即使 K 很小，训练和验证损失仍然符合标准 scaling 外推。这会误导 scaling ladder 规划——让人误以为数据唯一性不重要。
大模型： 损失惩罚随模型规模快速增加，严重偏离基于小模型的 scaling 外推。有限 K 约束下的 scaling ladder 会系统性低估大规模主运行的实际损失。
分数损失增加（Fractional Increase）： 相对于无限基线的分数损失增加 $\text{FracInc}(K) := \frac{L(K) - L(\infty)}{L(\infty)}$ 随计算量增加而可预测地增长。

这一发现的实践意义极为深远：在有限语义唯一性约束下，scaling ladder 不再可靠。小模型实验中观察到的良好 scaling 行为不能安全外推到大模型。

三、理论框架

3.1 层次化潜变量模型（Section 5.1）

论文构建了一个优雅的理论框架来形式化”语义重复”的概念。

生成模型： 文档 $x$ 由一个语义潜变量 $z$ 和一个表面变换 $\tau$ 共同生成：

$z \sim p(z), \quad \tau \sim p(\tau|z), \quad x = G(z, \tau)$

两篇文档是语义重复的当且仅当它们共享相同的 $z$ 但不同的 $\tau$ 。例如， $x = G(z, \tau_{EN})$ 和 $x' = G(z, \tau_{ZH})$ 是同一语义内容的英文和中文版本。

层次化结构： $z$ 本身是层次化的：

$z^{(0)} \to z^{(1)} \to \cdots \to z^{(L)} \to x$

其中 $z^{(0)}$ 是粗粒度语义（主题/世界知识）， $z^{(L)}$ 最接近表面形式。在此框架下，“重复”不是二元的数据集属性——两篇文档可以在某个语义深度上共享祖先潜变量，但在另一深度上不共享。只学习了浅层潜变量的小模型可能将翻译对视为不同文档，而学习了更深层不变性的大模型则将它们坍缩为同一有效表示。

3.2 有效重复的形式化定义（Definition 5.1）

$\text{Fix } \epsilon \in (0,1). \text{ 称 } x \text{ 和 } x' \text{ 是 } \theta \text{ 处的 } \epsilon\text{-有效重复 (effective duplicates) 当且仅当 } \text{sim}_\theta(x, x') \geq 1 - \epsilon$

这一定义的关键特征是模型依赖性：随着模型规模/能力的增加，关系 $\text{sim}_\theta(x, x') \geq 1 - \epsilon$ 可以将之前不同的样本（如翻译对）合并。

3.3 有效样本量与冗余饱和（Proposition 5.2）

在均匀采样 K 个类别、具有上述相关结构的条件下：

$n_{\text{eff}}(n, K_{\text{eff}}; s) := \frac{n}{1 + \rho(s)(n-1)/K_{\text{eff}}} \approx \min\left\{n, \frac{K_{\text{eff}}}{\rho(s)}\right\}$

直觉解释： 当 $n \ll K/\rho(s)$ 时，冗余可忽略，信号以 $1/n$ 的速度改善。当 $n \gg K/\rho(s)$ 时，语义冗余主导，有效独立更新方向的数量饱和于 $K/\rho(s)$ 。因为 $\rho(s)$ 随能力增加，同一有限 K 的数据流对更大模型变得更冗余——有效唯一性 $K/\rho(s)$ 随规模缩小。

3.4 恢复的 Scaling Law——Plane Law（Section 5.3）

论文推导出一个三参数平面法则作为最小全局 scaling 修正：

$\Delta(C, K_{\text{eff}}) \approx a \cdot C^\beta \cdot K_{\text{eff}}^{-\gamma}$

其中 $\beta = \eta(u+v)$ , $\gamma = \eta$ , 计算依赖通过幂律近似 $n(C) \propto C^u$ , $\rho(C) \propto C^v$ 。

恢复的损失预测为：

$L_{\text{pred}}(C, K_{\text{eff}}) = L_\infty(C)\left(1 + a \cdot C^\beta \cdot K_{\text{eff}}^{-\gamma}\right)$

验证结果： 在受控 scaling ladder 上，使用真实 K 值的三参数平面法则实现了约 0.77% 的平均绝对相对误差（中位数约 0.28%），显著优于更受限的两参数比值法则。特别是，两参数法则在 $K = 10^5$ 的灾难性场景中会严重低估损失。

3.5 从最近邻余弦估计有效语义池大小（Section 5.4）

在实际预训练中，“唯一语义项的数量” $K$ 不可直接观测。论文提出了一种仅基于平均最近邻余弦统计量估计 $K_{\text{eff}}$ 的方法：

对训练流的子样本计算嵌入和最近邻余弦均值 $\bar{M}_{N_{\text{meas}}}$
建立双分量模型： $E[M_{N_{\text{meas}}}] \approx (1-q_N)m_0(N) + q_N \cdot m_+$
反解碰撞概率： $\hat{q}_{N_{\text{meas}}} = \text{clip}\left(\frac{\bar{M}_N - m_0(N)}{m_+ - m_0(N)}, 0, 1\right)$
反演得到有效潜变量数： $\hat{K}_{\text{eff}} := \frac{N_{\text{meas}} - 1}{-\log(1 - \hat{q}_{N_{\text{meas}}})}$

验证： 使用 $\hat{K}_{\text{eff}}$ 替代真实 K 后，平均绝对相对误差约 0.90%（中位数约 0.24%），与使用真实 K 的结果几乎持平。这意味着即使只有一个余弦统计量可用，也能恢复大部分预测能力。

四、理论推导细节（Appendix D & E）

4.1 碰撞概率的精确与近似推导

论文在 Appendix D 中严格推导了碰撞概率公式。对于离散语义潜变量混合模型，精确表达式为：

$q_N = 1 - \sum_z w_z(1 - w_z)^{N-1}$

在”无重尾模式”假设下（ $\max_z w_z \ll 1$ ），通过 Poisson 近似和均场坍缩，得到简洁的近似：

$q_N \approx 1 - \exp\left(-\frac{N-1}{K_{\text{eff}}}\right)$

其中 $K_{\text{eff}} = 1/\sum_z w_z^2$ 是 Simpson 有效大小。

4.2 Hutter 风格学习曲线推导

Appendix E 从第一原理出发推导了 Plane Law 的理论基础：

学习曲线假设： 过剩损失为独立训练信号数量的幂律： $\epsilon(n) \propto n^{-\alpha}$
重复降低有效信号： 有效样本量 $n_{\text{eff}} = n/(1+r_{\text{eff}})$ ，其中 $r_{\text{eff}} = \rho n / K$
代入得到退化法则： $\Delta(n,K) \approx \tilde{\lambda} \cdot r_{\text{eff}} = \tilde{\lambda} \cdot \rho n / K$
转换为计算量： 利用 $n(C) \propto C^u$ , $\rho(C) \propto C^v$ ，得到 $\Delta(C,K) \propto C^\beta K^{-\gamma}$

五、讨论与深远影响

5.1 对”苦涩教训”(Bitter Lesson)的挑战

论文在 Section 6 中直言不讳地指出：

“到目前为止，工业界的惯例一直是押注数万亿美元在’苦涩教训’的成功上：扩展、扩展、再扩展，超级智能就会随之而来。这条路上唯一的障碍是网络规模语料库中有限的训练数据。前沿实验室试图通过合成由 LLM 生成的海量语料来绕过这个障碍。我们的发现对此讲述了一个警示性的故事。”

具体而言：即使可以将原始 token 数量扩展到渐近高区间，语义多样性可能与数据体量同样重要。正如 Figure 5 所示，合成数据在语义多样性方面的扩展表现极差。论文强调了两条可能的出路：

在合成数据中种入语义多样性——而非仅仅追求 token 数量
投资于更高效的训练方法和架构——如果现存所有语义独特的人类思想的总和不足以训练现代语言模型

5.2 实践启示

对数据工程的启示：

传统的基于哈希的去重（MinHash/SimHash）只能处理”冰山一角”——精确和近似重复
需要开发语义级去重管道，使用高质量嵌入模型识别跨语言、跨表述的语义等价文档
数据质量评估不能只看”去重后剩余多少 token”，更需要评估语义多样性

对 Scaling 规划的启示：

Scaling ladder 实验在有限语义唯一性下会产生系统性的乐观偏差
论文提出的 $K_{\text{eff}}$ 估计方法（基于嵌入最近邻统计量）可以作为 scaling ladder 规划的校正工具
三参数 Plane Law 提供了一个实用的 scaling 外推修正公式

对合成数据的启示：

合成数据的语义碰撞比真实数据早一个数量级发生
“更多合成 token”并不等于”更多独立训练信号”
合成数据生成策略需要显式优化语义多样性

5.3 局限性

论文坦诚承认了以下局限：

规模限制： 由于计算预算限制，无法训练多十亿参数模型。用精确重复模拟语义重复是一个悲观代理，实际语义重复的影响可能有所不同。
嵌入模型的局限： EmbeddingGemma-300m 虽然是 SOTA 嵌入模型，但仍不能产生完美各向同性或完全代表性的嵌入。更好的嵌入模型可以提高结果的置信度。
从精确重复到语义重复的外推： 论文的受控实验使用有放回采样（精确重复）作为语义重复的代理，但真实场景中语义重复的梯度对齐度 $\rho < 1$ ，实际效应可能较为温和。

六、方法论亮点与评价

6.1 实验设计的精巧之处

梯度余弦作为语义敏感性的直接度量： 不同于通常通过 probe 或下游任务间接评估模型能力，本文直接测量了训练动力学中最核心的量——梯度方向。这为”语义重复等价于训练信号重复”提供了最直接的证据。
从定性到定量的完整链条： 实验一（语义敏感性涌现）→ 实验二（大规模碰撞率加速）→ 实验三（training loss 退化）→ 理论（恢复的 scaling law），构成了一条完整的因果链。
合成数据的对照： 将 Recycling-the-Web 合成数据集作为对照组，直观地展示了合成数据的语义多样性不足，具有极强的说服力。

6.2 理论框架的优雅之处

层次化潜变量模型： 将”重复”从二元标签转化为连续的、模型依赖的、层次化的概念，这一抽象既有理论深度又有直觉清晰度。
三参数 Plane Law： 相比更复杂的理论模型， $\Delta(C, K_{\text{eff}}) \approx a C^\beta K_{\text{eff}}^{-\gamma}$ 以极少的自由度实现了极高的拟合精度，体现了”最小必要模型”的物理学美学。
从嵌入统计量恢复 $K_{\text{eff}}$ ： 提供了一个完全实用的、无需知道真实 K 值的校正方法，使得理论结果可以直接应用于实践。

6.3 值得关注的潜在问题

模型规模的外推性： 所有受控实验在 34M-344M 参数范围进行，能否安全外推到 70B+ 规模仍需验证。
精确重复 vs 语义重复： 论文承认用精确重复模拟语义重复是”悲观代理”。真实语义重复的梯度对齐度 $\rho < 1$ 可能使效应较温和，但也可能因语义碰撞更频繁而抵消。
嵌入模型选择的敏感性： EmbeddingGemma-300m 的语义表征质量直接影响碰撞率的估计，不同嵌入模型可能给出不同的 $K_{\text{eff}}$ 。

七、与相关工作的关联

7.1 数据去重文献

本文建立在 Hernandez et al. (2022)、Lee et al. (2022)、Carlini et al. (2021) 等关于数据重复危害的经典工作之上，但将视角从”数据集属性”转向”模型-数据集的交互属性”——这是一个范式级别的概念转换。

7.2 Scaling Law 文献

本文扩展了 Kaplan et al. (2020)、Hoffmann et al. (2022 - Chinchilla) 等 scaling law 研究，识别出一个此前未知的 scaling 失败源。Porian et al. (2025) 研究了 scaling law 中的其他不一致性，本文在此基础上指出语义重复是一个关键的缺失变量。

7.3 Random Hierarchy Model (RHM)

论文的理论框架与 Cagnetta et al. (2024) 的 Random Hierarchy Model 紧密相关。RHM 预测了”阶段性学习动力学”——模型逐步学习数据层次结构中越来越深的变量。本文将这一理论视角转化为实践关切：随着模型学习到更深的不变性，语义重复的”有效范围”扩大，从而放大了语义碰撞的影响。

7.4 梯度作为训练信号的代理

本文的梯度测量方法与 training data influence 文献 (Pruthi et al., 2020; Koh & Liang, 2020) 相关。但本文的创新在于将梯度对齐度用作语义等价性的直接度量，而非影响力估计工具。

八、关键图表解读

图表	核心信息
Figure 1	语义保持变换在大模型中产生高度对齐的梯度，小模型则否——语义敏感性随规模涌现
Figure 2	AUC（区分语义保持变换 vs 无关文档的能力）随训练进度增加，且大模型更早达到高 AUC
Figure 3	最近邻余弦相似度在中等规模遵循幂律，大规模下急剧偏离——语义碰撞加速
Figure 4	尾部碰撞率（ $P(M_i \geq T)$ ）随数据集规模指数增长
Figure 5	合成数据的幂律崩溃比真实数据早一个数量级——合成数据语义多样性严重不足
Figure 6	有限 K 约束下，小模型 scaling 正常但大模型退化急剧——scaling ladder 的系统性误导
Figure 7	基于 $\hat{K}_{\text{eff}}$ 的恢复 scaling law 精确预测了所有实验条件下的 eval loss

九、总结

核心贡献一览

概念层面： 首次提出并形式化了”规模依赖的数据重复”——什么算作”重复”取决于模型的能力，而非仅仅是数据的表面属性。
实证层面： 通过三组精心设计的实验（梯度对齐、大规模嵌入碰撞、受控训练退化），完整论证了语义重复对大规模训练的隐性威胁。
理论层面： 构建了层次化潜变量框架，推导出三参数 Plane Law 作为最小 scaling 修正，并提供了从嵌入统计量恢复有效语义池大小的实用方法。
实践层面： 为数据工程、scaling 规划和合成数据策略提供了直接可操作的指导。

一句话总结

这篇论文发现了一个此前被忽视的 scaling 失败机制：随着模型变强，它能”看穿”语义等价文档的表面差异，而这些语义重复在大规模语料中比幂律预测更频繁——两个效应叠加打破了朴素的 scaling 外推，但可以通过显式量化语义唯一性来恢复可预测性。