数据论文速递 · 2026年08月19日

本周 arXiv 涌现了一批直击预训练数据根本问题的论文：领域数据重复的缩放规律、信息论驱动的数据选择、预训练数据影响力的时序追踪、数据组成对能力天花板的决定性作用，以及合成数据中公平性退化早于模型崩溃的发现。五篇论文共同指向一个主题——数据工程的核心问题不是”怎么用数据”，而是”数据本身设置了什么约束”。

Scaling Domain Data Repetition in LLM Pretraining

• 论文信息：Scaling Domain Data Repetition in LLM Pretraining，arXiv:2608.14071，Jingwei Li, Xinran Gu, Rui Dai 等，2026年8月14日

• 核心问题：大模型缩放时，高质量领域数据无法同步增长，其在训练混合中的比例被动稀释。重复使用现有数据是对抗稀释的直接手段，但过度重复导致过拟合。如何在缩放场景下确定最优重复次数？

• 关键发现：

  1. 在固定 tokens-per-parameter (TPP) 比率下，最优重复次数随模型规模温和增长——更大的模型可以承受更多重复，这与直觉相反。
  2. 跨域分析显示，最优重复次数与域的最终验证损失强负相关：损失越低的域（即模型”学得越好”的域），越能从重复中受益。
  3. 域的唯一数据量与最优重复次数弱相关——决定重复策略的不是”有多少独特数据”，而是”模型对该域的掌握程度”。
  4. 在相同 TPP 的小代理模型上调优的重复次数，可以作为大模型的实用估计。

• 实践启示：预训练数据配方中，领域重复策略应基于模型在验证集上的损失而非数据量来决策。小规模代理实验可直接指导大规模训练的重复次数选择，降低试错成本。

Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization

• 论文信息：Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization，arXiv:2608.11746，Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson，纽约大学，2026年8月13日

• 核心问题：目标是提升模型在未预先指定任务上的分布外 (OOD) 泛化能力时，按领域、质量分或去重规则做经验混合不够。需要一种不依赖特定下游任务的数据选择信号。

• 关键发现：

  1. 提出 Epiplexity 指标量化数据的结构信息量，将其作为预训练数据选择的引导信号。高 Epiplexity 样本携带更多结构信息，对 OOD 泛化更有价值。
  2. 基于 Epiplexity 的 EpiSelect 方法从候选池中选择高信息量子集；EpiGen 方法在数据稀缺区域生成补充数据。
  3. 通过 Scaling Law 拟合采样权重，将数据选择问题转化为可微优化。
  4. 实验显示，更高 Epiplexity 的数据子集改善了零样本和微调设置下的 OOD 性能。

• 实践启示：Epiplexity 提供了一种不依赖任务标签的数据选择信号，可用于预训练数据配比实验。Scaling Law 拟合采样权重的方法可直接迁移到内部数据混合实验中，替代人工调参。

Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining

• 论文信息：Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining，arXiv:2608.13515，Yuto Nishida, Hirokazu Kiyomaru, Yusuke Oda 等，奈良先端科学技术大学/早稻田大学/东京大学等，COLM 2026，2026年8月13日

• 核心问题：现有训练数据影响力分析方法依赖特定下游任务或验证集，但预训练的目标是发展广泛能力，难以选择有代表性的任务。如何定义一种与任务无关的数据影响力度量？

• 关键发现：

  1. 定义数据影响力的新方式：一个样本的梯度更新在多大程度上减少了与最终参数的距离。以最终模型参数为公共参考点，无需选择下游任务。
  2. 从中间 checkpoint 估计影响力，无需重新训练。在 Pythia/PolyPythia 18 种配置、154 个 checkpoint 上验证。
  3. 发现有影响力的数据存在系统性时序变化：训练早期，文学相关数据与最终参数轨迹一致性更强；训练后期，STEM 数据占据主导。这种”交叉”在不同模型配置间广泛一致。
  4. 影响力估计在参考终点选择、checkpoint 近似等方面表现出鲁棒性。

• 实践启示：预训练数据组成的效果随训练阶段动态变化，早期应重视文学/语言基础数据，后期应增加 STEM 数据比例。这一发现为分阶段数据课程设计提供了实证依据。

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

• 论文信息：LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure，arXiv:2608.13545，Fanfei Li, Jana Zeller, Manuel Prada-Corral 等，ETH Zürich/Max Planck Institute，2026年8月13日

• 核心问题：通用模型在混杂语料上训练，难以判断能力来源。如果严格控制预训练数据的知识范围，模型的能力边界在哪里？后训练手段能否突破预训练数据设置的天花板？

• 关键发现：

  1. 构建 LittleCurriculum——880 亿 token 语料，经五阶段过滤管线严格限制为美国 K-5 小学内容，排除五年级以上概念、事实和词汇。K-5 以上内容保留率为 0%。
  2. 从头训练 0.6B/1.3B/5B 三个规模的 LittleLearner 模型，各配对未过滤对照模型。
  3. 核心结论：预训练数据设置了能力天花板，后训练无法突破。模型缩放 (0.6B→5B) 提升域内性能但对域外几乎无帮助；GRPO 后训练显著提升 K-5 能力但对超出年级的数学无效；上下文学习无法解锁超出 K-5 的推理能力。
  4. 后训练在超范围数据上训练的效果与在 K-5 数据上训练无差异——你无法微调出预训练从未构建的能力。

• 实践启示：领域预训练的数据配方决策是不可逆的。如果过滤语料缺乏某类概念的底层基础（如代码模型的跨文件推理、医学模型的作用机制知识），任何 SFT/RL 预算都无法事后补救。规划预训练数据时应优先保证概念覆盖广度，后训练留给能力激发和格式适配。

The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data

• 论文信息：The Fairness Collapse Phenomenon: Bias Amplification in Language Models Trained on Synthetic Data，arXiv:2608.04268，Irina Proskurina, Antoine Gourru, Julien Velcin，Laboratoire Hubert Curien/CNRS/里昂大学，2026年8月6日

• 核心问题：已知合成数据递归训练导致模型崩溃（质量全面退化），但合成数据对模型社会偏见的影响尚不明确。递归训练是否形成了偏见自我强化的反馈循环？

• 关键发现：

  1. 在 Bias in Bios 数据集上构建受控递归训练实验，追踪困惑度和公平性指标（Equal Opportunity GAP、NLL GAP）的变化。
  2. 公平性退化早于模型崩溃：社会偏见指标在困惑度等标准指标显著下降之前就已恶化。公平性崩溃是模型可靠性的先行失效模式。
  3. 递归污染比迭代再生成产生更强、更持续的偏见放大效应。特定职业偏见（如护士→女性、教授→男性）在递归训练中被单调强化。
  4. 标准语言模型质量指标无法捕捉公平性退化——模型文本依然流畅，但社会偏见已在无声中放大。

• 实践启示：使用合成数据进行持续预训练时，必须在每个训练迭代后监控人口统计学偏见指标，而非仅依赖困惑度或基准分数。公平性监控的节奏应快于能力检查，“模型输出仍然流畅”不等于”安全面未发生变化”。