数据论文速递 · 2026年05月12日

引言

随着大模型训练对数据的需求持续增长，“数据墙”问题日益凸显——高质量公开数据即将耗尽，如何在数据受限条件下高效训练成为核心挑战。本期速递精选 5 篇最新论文，覆盖数据受限 Scaling Laws、合成数据再训练的坍缩防治、训练数据集水印保护、RL 训练中的智能数据课程选择，以及文档级数据驱动的 MoE 预训练模块化。这些工作从不同维度推进了我们对大模型数据工程的理解。

---

Prescriptive Scaling Laws for Data Constrained Training

• 论文信息：Prescriptive Scaling Laws for Data Constrained Training · arXiv:2605.01640
• 核心问题：当训练算力增长远超高质量数据供给时，Chinchilla Scaling Law 假设每个 token 唯一，无法指导数据受限场景下的训练决策。如何在数据不足时做出最优算力分配？
• 关键发现：
  • 提出一个单参数加性过拟合惩罚项，精确建模数据重复带来的 excess loss，突破了 Chinchilla”唯一 token”假设的限制
  • 在数据受限场景下，超过一定阈值后继续重复数据适得其反，算力应转向增大模型容量
  • 遵循该 Scaling Law 的推荐配置，在数据受限实验中一致优于基线
  • 强权重衰减（λ=1.0）可将过拟合惩罚系数降低约 70%，为近期发现的”数据受限场景最优权重衰减比常规大一个数量级”提供了 Scaling Law 理论解释
• 实践启示：数据受限训练不再是”尽可能重复”的盲目策略，而是有据可循的最优分配问题。该工作为过度训练（overtraining）场景提供了明确的”何时停止重复、何时扩大模型”决策依据，且量化了权重衰减在数据受限场景的超比例价值。

---

Curated Synthetic Data Doesn’t Have to Collapse

• 论文信息：Curated Synthetic Data Doesn’t Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences · arXiv:2605.07724 · ICML 2026
• 核心问题：生成模型递归再训练时，基于单一奖励信号筛选合成数据会导致模型坍缩到狭窄输出分布。此前研究认为不引入真实数据就无法避免坍缩——这一结论是否成立？
• 关键发现：
  • 从对齐视角重新审视坍缩问题，证明使用多个奖励函数进行策展可有效缓解坍缩
  • 在异构偏好下形式化递归训练动力学，证明模型在特定条件下收敛到稳定分布，概率质量分配于多个竞争性高奖励区域
  • 极限分布保持多样性，且满足加权 Nash 讨价还价解（Weighted Nash Bargaining Solution），为合成数据再训练循环中的价值聚合提供了博弈论解释
• 实践启示：合成数据再训练不一定走向坍缩，关键在于策展机制是否引入多元偏好。对于构建自进化数据流水线的团队，多目标策展比单信号筛选更稳健，这为”模型自我生成训练数据”的可行性提供了理论支撑。

---

Dataset Watermarking for Closed LLMs with Provable Detection

• 论文信息：Dataset Watermarking for Closed LLMs with Provable Detection · arXiv:2605.06865
• 核心问题：LLM 在海量 loosely curated 数据上预训练和后训练，可能使用了专有数据集或评估基准。如何在无法访问模型内部的闭源场景下，证明某个数据集被用于训练？
• 关键发现：
  • 首个面向闭源 LLM 的可证明检测数据集水印方法
  • 通过改写增加随机选取词对的共现频率来嵌入水印信号，使用模型生成输出中共现模式的统计检验来检测
  • 在微调阶段实现可靠水印检测（p < 0.01）
  • 水印数据集仅占微调总量约 1% 时仍可有效检测
  • 水印嵌入不损害原始基准的效用和语义完整性
• 实践启示：数据集水印为训练数据的产权保护和合规审计提供了可验证手段。对于拥有高质量专有数据的团队，该方法可在不损害数据质量的前提下嵌入可追溯标记，为未来可能的数据使用争议提供取证依据。

---

Selector-Guided Autonomous Curriculum for One-Shot RL from Verifiable Rewards

• 论文信息：Selector-Guided Autonomous Curriculum for One-Shot Reinforcement Learning from Verifiable Rewards · arXiv:2605.01823
• 核心问题：RLVR（可验证奖励强化学习）中单样本训练的实例选择至关重要，现有方法依赖奖励方差启发式，但方差作为迁移价值指标本质上具有误导性。如何更智能地选择训练数据？
• 关键发现：
  • 提出可学习的选择器模型，运行在多维特征空间上（成功率、奖励方差、输出分歧度、语义难度），替代静态方差启发式
  • 关键发现：输出分歧度（entropy）比奖励方差是更强的推理增益预测因子
  • 在 Qwen2.5-Math-1.5B 上达到 68.0% 准确率，超过 SOTA 基线 4 个百分点
  • 在极端数据受限（单样本）条件下，基于 entropy 的智能数据策展仍带来严格推理提升
• 实践启示：在 RL 后训练的数据选择中，“哪个样本最难”不如”哪个样本最有信息增益”。entropy 而非 variance 才是数据选择的有效信号，这对 RLHF/RLVR 训练的数据筛选流水线设计具有直接指导意义。

---

EMO: Pretraining Mixture of Experts for Emergent Modularity

• 论文信息：EMO: Pretraining Mixture of Experts for Emergent Modularity · arXiv:2605.06663
• 核心问题：MoE 模型理论上可只激活部分专家，但实际中限制推理专家数会导致性能剧烈下降。能否通过预训练数据策略让专家自动形成语义模块化？
• 关键发现：
  • 提出 EMO：利用文档边界作为唯一先验，约束同一文档内的 token 从共享专家池中选择，不同文档可使用不同池
  • 这一简单约束使专家在预训练中自然形成语义级专业化（如数学、代码等域），而非标准 MoE 的低层语法级专业化
  • 1B-active / 14B-total 模型在 1T tokens 上预训练，完整模型匹配标准 MoE 性能
  • 仅保留 25%（12.5%）专家时，绝对性能下降仅 1%（3%），而标准 MoE 在同等设置下崩溃
• 实践启示：数据边界（文档级）是驱动专家模块化的高效先验——无需人工定义领域标签，仅靠文档边界即可让 MoE 预训练出语义级模块化专家。这为大规模稀疏模型的内存高效部署提供了数据侧解决方案。