数据论文速递 · 2026年07月01日

引言

本期速递聚焦大模型数据研究中”宏观规律”与”微观机制”的交汇点。Scaling Laws 作为 LLM 训练的指南针，其幕律形式的起源长期停留在假说层面，本期首篇论文从 token 级学习事件出发，给出了直接的实证解释——这正是理解”数据如何塑造模型”的基础。第二篇论文则揭示了一个反直觉现象：预训练数据中规则的”留存”不仅取决于证据量，更取决于竞争模式的支持频率，且遗忘后几乎不可逆——这为预训练语料的组合设计敲响了警钟。第三、四篇分别从 Web 图拓扑和多目标 RL 调度两个维度推进数据选择与混合的工程实践。第五篇则将 RL 训练的奖励信号闭环到数据合成，展示了”数据-训练”共进化的新范式。从理论到工具，本期论文共同指向一个趋势：数据工作正在从经验驱动走向机制驱动。

---

Smooth Scaling Laws Hide Stepwise Token Learning

论文信息：Smooth Scaling Laws Hide Stepwise Token Learning | arXiv:2606.29858

核心问题：LLM 的验证损失随模型和数据规模呈现平滑的幂律下降，但这一宏观规律为何成立？现有的”难度谱”假说（自然语言中模式难度服从重尾分布）缺乏大规模真实训练数据上的 token 级粒度验证。

关键发现：

• Token 学习是局部跃迁：通过对 100+ 次预训练运行中每个 token 的损失轨迹拟合 sigmoid 函数，发现单个 token 的学习并非均匀渐进，而是集中在特定训练时刻的局部跃迁——类似”顿悟”式学习。
• 学习时间谱决定 Scaling Laws 形状：各 token 的跃迁时刻构成一个近似幂律的”学习时间谱”，该谱在训练步数 T、数据规模 D、模型规模 M 三个轴上定量重建了验证损失导数。
• 宏观平滑是微观异质的平均效应：Scaling Laws 的幂律形式并非每个 token 学习曲线的固有属性，而是大量异质 token 跃迁事件叠加后的涌现现象。
• 可操作性：重分布训练数据加速 11%：根据 token 变得”可学习”的时刻重塑训练分布，可改变优化轨迹，实现 11% 的验证损失下降加速。

实践启示：这项工作为”数据课程”提供了理论基础——如果能预估不同数据子集中 token 的可学习时间分布，就可以按学习节奏调度数据，而非均匀采样。对于预训练数据配比，这意味着：关键不在于”什么数据更好”，而在于”什么数据在什么时候被模型准备好吸收”。

---

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

论文信息：Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining | arXiv:2606.26050

核心问题：在标准预训练过程中，模型已经学会的规则是否会因训练数据的组成而”遗忘”？此前对 grokking（延迟泛化）的研究关注”学会”，而本篇关注其逆过程——“自然去泛化”（natural ungrokking）。

关键发现：

• 规则可在训练中自发遗忘：11.5M 参数模型在 step 925 时学会了代词-性别规则（冲突准确率 0.94），到 step 3500 时同一探测集上得分接近零——尽管规则证据仍在训练数据中。
• 支持频率决定规则命运：语料中”规则获胜”的频率是规则留存的可预测指标。数据-参数比仅调节遗忘的深度，不决定遗忘是否发生。
• 遗忘是竞争性替换：遗忘不是衰退，而是一个竞争性表面模式胜出了规则——两者的对数概率差在行为崩塌的 100 步内穿越零点。
• 控制是不对称的：将支持证据翻转为反证据可以确定性杀死规则（单调剂量响应），但即使注入 450 倍于自然维持水平的支持，也无法恢复已被遗忘的规则。所有预测均为预注册。

实践启示：这项发现对预训练数据设计有深远影响——语料的”组成频率”而非”绝对数量”决定模型保留哪些能力。一旦竞争模式占据优势，简单增加正面数据无法挽救被替代的规则。这提示我们在构建预训练语料时，需要关注不同模式间的”竞争生态”，而不仅仅是各领域数据量的绝对比例。

---

Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality

论文信息：Hubs or Fringes: Pretraining Data Selection via Web Graph Centrality | arXiv:2606.11499

核心问题：现有预训练数据选择方法将文档视为独立单元，依赖内容分类器或质量打分器，忽略了网页间的链接结构。Web 图的结构位置是否对应不同类型的可迁移知识？

关键发现：

• 中心与外围编码互补能力：Web 图中的中心节点（hub）暴露模型于可复用的抽象知识，外围节点（fringe）编码专门化的长尾知识，二者对下游能力的贡献互补。
• 简单混合即可超越均匀采样：中心文档 + 外围文档 1:1 混合，在 23 个任务上平均 41.4%，优于均匀采样的 39.8%。
• 图结构信号与质量信号正交：将图中心性分数与文档级质量分类器分数结合，性能进一步提升至 43.8%，表明图拓扑捕获了内容方法无法触及的信息维度。
• 无需模型训练或标注数据：WebGraphMix 直接在 Common Crawl 主机级链接图上计算介数中心性和 Katz 中心性，无需训练额外模型、标注数据或下游监督信号。

实践启示：Web 图拓扑是一个被严重低估的数据选择维度。对于使用 Common Crawl 的预训练管线，在应用内容质量过滤之后，额外加入图结构信号可以几乎零成本地提升数据选择质量。这尤其适用于需要同时兼顾常识推理和长尾知识的场景。

---

Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning

论文信息：Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning | arXiv:2606.24133

核心问题：在线数据混合（ODM）方法在预训练中已有探索，但现有方法依赖单一优化视角，无法同时兼顾数据质量、域间影响和模型状态等多个维度，导致数据调度策略次优。

关键发现：

• 三维度联合奖励函数：HDS 提出了一种多目标综合奖励，整合了数据驱动的质量奖励、损失驱动的域间影响奖励和权重范数驱动的模型状态奖励。
• SAC 连续控制空间：将数据调度问题建模为连续控制空间中的 RL 问题，使用 Soft Actor-Critic 算法在高维策略空间中稳定探索，避免了离散域权重的贪心搜索。
• 44% 训练迭代缩减：在 The Pile 基准上，HDS 以 44% 更少的训练迭代达到次优方法的最终验证困惑度。
• MMLU 0-shot 提升 7.2%：同时实现 MMLU 0-shot 7.2% 的提升以及其他基准的一致增益，证明训练效率和最终能力可以同时优化。

实践启示：数据混合不是一个”调一次就完”的静态决策，而是需要根据训练状态动态调整的连续控制问题。HDS 的多目标奖励设计提示实践者：好的数据调度应同时回答”现在该喂什么质量的数据""各域之间如何互相影响""模型参数正在如何变化”三个问题。SAC 框架的使用也为大规模预训练中的数据调度提供了可扩展的工程方案。

---

RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents

论文信息：RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents | arXiv:2606.19047

核心问题：多轮工具调用 Agent 的 RL 训练中，静态数据集的高信息量样本快速耗尽——GRPO 的梯度信号集中在奖励方差最大的任务上（即模型能力边界附近），随着训练推进，边界移动导致静态数据池中的有效样本逐渐枯竭。

关键发现：

• 奖励方差即边界检测器：利用 GRPO 训练中已有的 rollout 奖励方差作为零成本的能力边界检测信号，无需额外推理开销。
• 技能对齐重采样管线：识别边界样本后，通过技能对齐的重采样管线合成结构复杂度匹配的新多轮样本（保持 API 拓扑和依赖深度），而非从零生成。
• 20 倍数据效率：仅从 400 条人工种子出发、维持约 800 条活跃样本，RODS 即可达到 17K 样本离线管线的同等性能，所需轨迹减少约 20 倍。
• 动态回放缓冲区共进化：维护与策略共同演化的动态回放缓冲区，确保训练池始终包含对当前策略最有信息量的样本。

实践启示：RODS 展示了”数据-训练”闭环的新范式：不再先准备数据再训练，而是让训练信号实时驱动数据生成。关键设计原则是”用已有信号检测边界 + 结构化合成而非自由生成”，这避免了从零生成多轮数据的高方差问题，同时保持了数据的信息密度。对于任何需要多轮交互数据的 RL 训练场景，这一思路具有直接的可迁移性。