数据论文速递 · 2026年07月08日

引言

数据是大模型训练的燃料，但”怎么烧”比”烧多少”更重要。本期四篇论文从不同角度切入数据效率问题：何时复用高质量数据？预训练的数据编排如何影响下游微调的选择性？持续预训练中如何用困惑度景观精准选数据？SFT 又如何在学到新知识的同时不丢旧结构？四篇论文共同指向一个核心趋势——从粗粒度的”多即好”走向细粒度的”精而准”。

---

Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training

论文信息：Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training，arXiv:2607.04969，cs.LG，2026年7月6日

核心问题：多 epoch 训练中，高质量数据应该何时复用、复用多少次？当前实践普遍遵循”4 epoch 上限”的经验法则，但这一限制缺乏严格的实证依据。

关键发现：

• 提出”记忆化窗口”（Memorization Window）概念：通过追踪 loss 保留动态和下游评估分数，识别数据从”有用学习”转入”过拟合记忆”的拐点
• 实验表明，性能随重复次数的改善远超当前实践中常用的 4 epoch 限制——在记忆化窗口关闭之前，数据重复的边际收益仍然显著
• 不同数据类型的记忆化窗口位置不同：高质量领域数据的窗口通常更宽，而低质量噪声数据窗口极窄
• 提出记忆化引导的数据复用范式（Memorization-guided Data Reuse），自适应决定数据复用的时机和频次

实践启示：

• “4 epoch 上限”可能是过于保守的工程经验，实际可用 epoch 数应通过记忆化信号动态判断
• 对于稀缺高质量数据，记忆化感知调度可显著提升样本效率——“更聪明地训练”而非”更长时间地训练”
• 未来训练管线应集成记忆化监测模块，实现数据复用的闭环控制

---

Pretraining Curricula Enable Selective Fine-tuning

论文信息：Pretraining Curricula Enable Selective Fine-tuning，arXiv:2607.04846，cs.LG，2026年7月6日

核心问题：预训练阶段的数据编排顺序（curriculum）如何影响下游微调的选择性？尤其是安全微调（refusal fine-tuning）能否精准抑制特定行为而不损害其他能力？

关键发现：

• 不均衡课程（imbalanced curriculum，某类任务先学、另一类后学）促进任务在可分离神经回路中独立表征；而均衡课程（uniform sampling）导致任务共享同一条通路
• 在两个冲突的复制任务上，不均衡预训练显著提升了 in-context learning 能力，并使 refusal 微调更加精准——只抑制目标行为，不影响其他能力
• 激活修补（activation patching）证实：不均衡课程产生了任务解耦的神经回路，而均衡课程的回路高度纠缠
• 在合成语言学习任务上同样成立：不均衡课程产生更局部化、更少纠缠的规则表征，使规则遵循行为更鲁棒

实践启示：

• 预训练数据不只是”喂什么”的问题，“先喂什么后喂什么” 同样关键——课程编排直接影响模型内部的知识组织方式
• 对安全微调而言，不均衡预训练可能是一种重要的”架构级”工具：让对齐行为和正常能力在训练初期就分道扬镳
• 当前主流的随机打乱预训练数据可能不是最优选择——有意识的数据编排可提升微调精度

---

Perplexity-Aware Data Scaling Law: Perplexity Landscapes Predict Performance for Continual Pre-training

论文信息：Perplexity-Aware Data Scaling Law，arXiv:2512.21515，cs.LG/cs.CL，ACL 2026

核心问题：持续预训练（CPT）中，单纯增加数据量的边际收益递减严重——如何从海量领域数据中选出最高效的训练子集？

关键发现：

• 提出困惑度感知缩放定律：将预训练模型在领域数据上的困惑度分布（均值 μ + 标准差 σ）作为知识差距的代理指标，建立其与测试 loss 之间的预测关系
• 缩放定律形式：L(μ,σ,D) = E + D_c / (μ^α₀ σ^β₀ · μ^{α₁σ} σ^{β₁μ} · D^{α_D})，其中独立项和交互项分离，保留幂律结构的可解释性
• 交互项至关重要：μ 和 σ 来自同一困惑度分布，存在内在关联，忽略交互项会导致预测偏差
• 提出 Distance-to-Optimum Selection（DOS）贪心算法：在固定 token 预算下，选择困惑度分布最接近最优点的数据子集
• 在医学和通用领域基准上，DOS 选择的子集一致接近最优，以显著减少的数据量达到全量训练的性能

实践启示：

• CPT 数据选择不应只看困惑度均值——困惑度方差同样关键，两者交互决定数据效用
• 困惑度景观提供了一种轻量级、无需训练代理模型的数据筛选信号，适合大规模 CPT 场景
• 对领域适配任务，“困惑度窗口”内的高实用性数据才是效率最优解——不是越多越好，而是分布越匹配越好

---

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

论文信息：LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure，arXiv:2607.04733，cs.CL，2026年7月6日

核心问题：SFT 在提升目标领域能力的同时，常导致预训练学到的丰富知识退化——如何在不破坏已有局部偏好结构的前提下进行微调？

关键发现：

• 首次用 Shannon 熵和 Rényi 熵分析预训练模型的 next-token 预测，发现预训练模型呈现多模态熵结构——熵峰对应不同数量的合理候选 token，编码了远超监督信号所揭示的分布知识
• 标准 cross-entropy SFT 只优化观测标签 token，对其他候选 token 的概率重分配缺乏约束，导致预训练局部偏好结构被扭曲
• 提出 LP-SFT：在每一步构建自适应支持集（alternative tokens），施加局部归一化保持损失，维持基模型在这些 token 上的相对排序
• 在混合领域和单领域微调实验中，LP-SFT 在 pass@1 准确率和 pass@k 多样性之间取得最佳平衡

实践启示：

• SFT 数据不只需要”教什么”，还需要考虑“保护什么”——预训练模型的熵结构是宝贵的分布知识，不应被粗暴覆盖
• LP-SFT 的”局部保持”思路可视为 SFT 阶段的数据正则化：在学到新技能的同时，保留旧知识的偏好层级
• 对多任务 SFT 场景，LP-SFT 可能是缓解”灾难性遗忘”的数据级方案——不需要额外数据，只需改变训练目标

---

本期小结

论文	核心维度	关键词	一句话总结
Memorization-Guided Data Reuse	何时复用	记忆化窗口、多 epoch	数据复用远不止 4 epoch，记忆化信号告诉你在哪里停
Pretraining Curricula	如何编排	课程学习、回路解耦	预训练数据顺序决定微调精度——不均衡即优势
Perplexity-Aware Scaling Law	如何选择	困惑度景观、CPT	困惑度的均值和方差交互预测 CPT 性能
LP-SFT	如何保护	熵结构、局部保持	SFT 不只教新知识，还要保护旧偏好

本期四篇论文形成了一条清晰的数据工作链：预训练阶段通过课程编排塑造知识结构 → 持续预训练用困惑度景观精准选数据 → 数据复用靠记忆化信号动态调度 → SFT 阶段用熵结构保护防止知识退化。从”多即好”到”精而准”的范式转型，正在数据工程的每个环节落地。