数据论文速递 · 2026年05月13日
本期聚焦数据策展范式革新与Scaling Laws可迁移性：在线重加权颠覆离线筛选范式、信息分辨率统一Scaling Laws跨域迁移、分布向量合并替代数据混合、可解释性驱动数据选择、数据剪枝提升事实记忆。
引言
本期数据论文速递聚焦于数据策展范式的根本性革新。长期以来，LLM训练数据的质量控制以离线筛选为主流——先选数据再训练，但这一范式正受到在线方法的挑战。与此同时，Scaling Laws的可迁移性、持续预训练中数据混合的替代方案、基于模型内部机制的数据选择，以及通过数据剪枝反而提升知识记忆等发现，都在重新定义”好数据”的含义。本期5篇论文覆盖数据策_curated_、数据混合、数据选择、数据剪枝和Scaling Laws五大方向，均为2026年4-5月的新作。
Rethinking Data Curation in LLM Training: Online Reweighting Offers Better Generalization than Offline Methods
- 论文信息：Wanru Zhao et al., arXiv:2605.05227, ICLR 2026
- 链接：https://arxiv.org/abs/2605.05227
核心问题：离线数据策展（数据选择/数据混合）与训练过程解耦，在模型或任务变化时需要重新运行整个管道，且硬过滤/重采样会牺牲数据多样性、损害泛化能力。能否将数据策展重新定义为在线问题？
关键发现：
- 提出 ADAPT（Adaptive Data reweighting for Pretraining and FineTuning） 框架，通过基于相似性质量信号的逐样本自适应学习率，在训练过程中动态调整样本重要性
- 在线重加权天然具有隐式课程学习效应——训练初期关注粗粒度模式，后期转向细粒度语义区分
- 不改变训练数据量，完整保留数据多样性，避免了离线方法的信息损失
- 在等量FLOPs下，ADAPT在指令微调和大尺度预训练任务上一致超越离线选择/混合方法和先前的在线方法
实践启示：数据策 Curated 不应被视为训练前的静态预处理步骤，而应是训练过程本身的有机组成部分。对于大规模预训练，在线重加权比离线筛选更具工程灵活性和泛化优势——模型/任务变化时无需重新跑数据管道。
On the Invariance and Generality of Neural Scaling Laws
- 论文信息：Xing Han, Ziyin Liu, Suchi Saria, Paul Pu Liang, arXiv:2605.07546
- 链接：https://arxiv.org/abs/2605.07546
核心问题：Scaling Laws最需要的地方恰恰最难获得——为新领域拟合Scaling Laws需要昂贵的扫描实验，而这些实验消耗的算力正是Scaling Laws想要节省的。能否将一个领域的Scaling Laws可靠地迁移到另一个领域？
关键发现：
- Scaling Laws在数据的双射（信息保持）变换下保持不变
- 在非双射变换下，Scaling Laws的变化可通过信息分辨率（information resolution, ρ）预测——降低数据信息分辨率的变换会以可预测的方式修改Scaling Laws
- 信息分辨率可作为单一轴，沿着它将一个领域拟合的定律迁移到另一个领域
- 实验验证：从通用文本拟合的Scaling Laws可迁移至电子健康记录领域；噪声注入下时间序列分类的Scaling Laws预测误差仅3%
- 跨模态（语言、视觉、语音）验证了框架的普适性
实践启示：对于数据工程而言，这意味着不同数据领域之间的Scaling行为差异可被信息论框架量化——通过测量数据的信息分辨率，可以在不做完整扫描的情况下预估新数据域的Scaling特性，大幅降低数据策展的实验成本。
OptiMer: Optimal Distribution Vector Merging Is Better than Data Mixing for Continual Pre-Training
- 论文信息：Haiyue Song, Masao Utiyama, arXiv:2603.28858
- 链接：https://arxiv.org/abs/2603.28858
核心问题：持续预训练（CPT）中，数据混合比例是极其敏感的超参数，传统方法需要反复训练来搜索最优配比，成本极高。能否将配比选择从训练过程中解耦？
关键发现：
- 提出 OptiMer，将数据混合比例选择重新定义为事后分布向量优化问题
- 方法：为每个数据集训练一个CPT模型 → 提取各模型的分布向量（参数偏移表示）→ 通过贝叶斯优化搜索最优组合权重
- 在Gemma 3 27B上跨语言（日语、中文）和领域（数学、代码）实验，OptiMer一致优于数据混合和模型平均基线
- 搜索成本降低15-35倍
- 优化权重可解释为数据混合比例，用这些比例重新训练可改善数据混合CPT效果
- 同一向量池可针对不同目标反复优化，无需重新训练
实践启示：持续预训练不再需要昂贵的配比搜索训练。OptiMer的”先训练再合并”范式让数据配比优化从训练循环中彻底解放出来，且同一套分布向量可按需为不同下游目标定制模型。
From Insight to Action: A Novel Framework for Interpretability-Guided Data Selection in Large Language Models
- 论文信息：Ling Shi et al., arXiv:2604.25167
- 链接：https://arxiv.org/abs/2604.25167
核心问题：机制可解释性（Mechanistic Interpretability）虽能揭示模型内部特征，但这些洞察如何转化为实际的数据选择策略？能否利用模型内部的任务特征来指导训练数据的选择？
关键发现：
- 提出 IGDS（Interpretability-Guided Data Selection） 框架，通过稀疏自编码器（SAE）识别因果任务特征，再筛选最大化激活这些特征的”特征共振数据”进行微调
- 在数学推理任务上，Gemma-2-2B仅用50%的数据就超越全数据微调17.4%
- 在摘要和翻译任务上同样有效，验证了框架的通用性
- 跨模型验证（Gemma-2、LLaMA-3.1、Qwen3）表明方法不依赖特定架构
- 分析确认特征放大与任务性能提升之间存在正相关
实践启示：这为数据选择提供了一条全新路径——不是从数据自身属性（质量、多样性）出发，而是从模型”怎么学”出发。理解模型内部对任务特征的表征，可以精准找到对特定能力提升最有效的数据子集，实现数据效率的质的飞跃。
Cram Less to Fit More: Training Data Pruning Improves Memorization of Facts
- 论文信息：Jiayuan Ye, Vitaly Feldman, Kunal Talwar, arXiv:2604.08519
- 链接：https://arxiv.org/abs/2604.08519
核心问题：LLM难以将事实知识有效记忆到参数中，导致幻觉和知识密集任务表现不佳。当训练数据中的事实信息量超过模型容量时，事实准确率会显著下降。能否通过”少塞数据”来”多记事实”？
关键发现：
- 从信息论视角形式化了事实记忆问题，建立了训练数据分布与事实准确率之间的理论联系
- 事实频率分布偏斜（如幂律分布）时，模型容量被大量低频事实”挤占”，导致高频事实记忆不充分
- 提出仅基于训练loss的数据选择方案：限制训练数据中的事实数量 + 压平事实频率分布
- 在半合成数据集上，选择方法将事实准确率有效提升至模型容量上限
- 在Wikipedia标注语料预训练中，GPT2-Small（110M）实现了1.3倍的事实记忆量，达到与10倍大模型（1.3B）在全量数据上训练的同等水平
实践启示：反直觉地，减少训练数据中的事实冗余反而能提升事实记忆。这挑战了”更多数据=更多知识”的直觉，暗示预训练数据的去冗余和频率均衡化是释放模型知识容量的关键手段。对于知识密集型预训练，精心剪枝比盲目堆量更有效。