数据论文速递 · 2026年05月22日

引言

本期速递涵盖五篇近期 arXiv 论文，横跨 LLM 数据工作的多个关键维度。首篇论文从正则化视角重新审视后训练中的通用数据角色，将数据选择问题重构为数据诱导正则化问题，统一了现有方法；第二篇来自 Apple 的研究在超过 2000 次训练实验基础上，建立了数据受限下混合预训练的重复感知 Scaling Laws，给出了目标数据可重复 15-20 次的实用结论；第三篇论文提出偏好感知影响力函数数据选择方法 PRISM，将人类偏好信号引入影响力函数框架；第四篇论文设计了目标对齐路径数据选择 TACS，用目标任务的短轨迹暴露候选数据效用；第五篇论文则从架构层面提出了无需数据回放的持续预训练方案 TFGN，通过读写分解实现跨域参数更新隔离。五篇论文分别从范式革新、理论建模、归因方法和架构设计角度推进了对”数据如何塑造模型”的理解。

---

Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training

论文信息：Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training · arXiv:2605.07063

核心问题：LLM 后训练中，如何在稀缺高保真目标数据与大量但不完美对齐的通用数据之间取得最优平衡？现有数据选择方法将通用数据视为待筛选池，但这种”选/不选”的二分框架是否本身就是局限？

关键发现：

• 提出 Dr. Post-Training（Data-Regularized Post-Training） 框架，将通用数据重新概念化为数据诱导正则化器（data-induced regularizer），而非选择池——其作用是防止模型对稀缺目标数据过拟合
• 具体机制：在每个训练步，先用通用数据构建更新方向的可行集，再将目标数据指定的更新方向投影到该可行集上
• 标准训练和现有数据选择方法都是该框架在不同正则化强度下的特例，对应偏差-方差谱上的不同位置
• 该框架提供了更丰富的设计空间和更灵活的偏差-方差权衡，在 SFT、RLHF 和 RLVR 三类任务上均一致超越 SOTA 数据选择基线

实践启示：后训练数据工作不应只关注”选哪些数据”，更应关注”通用数据如何正则化目标学习”。这为数据配比和混合策略提供了新思路——通用数据的价值不仅是提供额外训练信号，更是作为隐式正则化器约束模型更新方向。在实践中，可以通过调节正则化强度在偏差和方差之间灵活权衡，而非简单地筛选/丢弃数据。

---

Scaling Laws for Mixture Pretraining Under Data Constraints

论文信息：Scaling Laws for Mixture Pretraining Under Data Constraints · arXiv:2605.12715 (Apple)

核心问题：当目标数据源（如低资源语言、专业领域）本身数据量有限时，如何在混合预训练中平衡目标数据的充分暴露与过度重复带来的过拟合？

关键发现：

• 基于超过 2000 次训练实验，覆盖多语言（德语/法语/斯瓦希里语）、多领域（数学/科学论文/Wikipedia）和质量过滤子集
• 核心发现：混合训练能容忍远高于单源训练的重复次数——稀缺目标语料可被重复使用 15-20 次，最优重复次数取决于目标数据量、计算预算和模型规模
• 重复是目标域性能的核心驱动因素，重复 token 遵循可预测的边际收益递减规律
• 提出重复感知混合 Scaling Law，同时建模重复 token 的递减价值和通用数据的正则化作用，优化该定律可直接计算最优混合配置

实践启示：打破了”4 次重复”的传统上限认知——在混合训练场景下目标数据可重复更多次，因为通用数据持续提供新鲜 token 起正则化作用。对于低资源语言或专业领域的预训练，可直接用该 Scaling Law 预测最优混合权重和重复策略，避免昂贵的网格搜索。

---

PRISM: Preference-aware Influence-function-based Data Selection Method for Efficient Fine-Tuning

论文信息：PRISM: Preference-aware Influence-function-based Data Selection Method for Efficient Fine-Tuning · arXiv:2605.21422

核心问题：影响力函数（Influence Function）是数据归因的经典方法，但现有方法仅衡量数据对损失的影响，未考虑人类偏好——如何将偏好信号融入数据选择？

关键发现：

• 提出 PRISM（Preference-aware Influence-function-based Data Selection），将人类偏好信号引入影响力函数框架
• 传统影响力函数评估”移除某样本后损失的预期变化”，PRISM 将其扩展为评估”移除某样本后偏好对齐度的预期变化”
• 通过偏好感知的影响力估计，优先选择对模型偏好对齐贡献最大的训练样本
• 在高效微调场景下，PRISM 能以更少数据达到与全量训练相当甚至更好的偏好对齐效果

实践启示：对于 RLHF/SFT 中的数据选择，不应仅看样本对损失的贡献，更要看其对偏好对齐的贡献。偏好感知的数据归因为构建高质量训练子集提供了更精准的信号，尤其适合计算预算有限、需要在海量候选数据中精选的场景。

---

Let the Target Select for Itself: Data Selection via Target-Aligned Paths

论文信息：Let the Target Select for Itself: Data Selection via Target-Aligned Paths · arXiv:2605.09404

核心问题：现有的目标导向数据选择方法（如梯度匹配、影响力函数）沿候选池诱导的路径评估数据效用，但这些路径可能与目标任务的优化轨迹不一致——能否让目标本身来定义评估路径？

关键发现：

• 提出 TACS（Target-Aligned Course Selection），核心思想是：沿目标任务的短轨迹（target warmup）评估候选数据的端点损失响应，而非沿候选池路径的局部效用
• 具体方法：用目标任务的代理集执行短时间 LoRA 微调（target warmup），然后沿此轨迹测量每个候选样本对目标损失变化的影响
• 与基于梯度的选择方法（如 LESS）相比，TACS 不依赖候选池的分布结构，避免了池诱导的偏差
• 在受控预测、视觉和指令调优场景中，TACS 一致优于 LESS、ToV 等目标导向选择方法

实践启示：数据选择方法应与最终目标对齐，而非与候选数据池对齐。在实践中，可以用少量目标数据做快速 warmup 来暴露模型的”需求方向”，再据此评估候选数据——这种”让目标说话”的思路比间接推断更直接、更可靠。

---

TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale

论文信息：TFGN: Task-Free, Replay-Free Continual Pre-Training Without Catastrophic Forgetting at LLM Scale · arXiv:2605.15053

核心问题：LLM 在异构文本域上持续预训练时如何避免灾难性遗忘？现有方法依赖数据回放、任务标识或正则化惩罚——能否从架构层面根本性地隔离跨域参数更新？

关键发现：

• 提出 TFGN，一种嵌入 Transformer 每个块内部的架构 overlay，实现输入条件化的参数高效更新
• 核心架构洞察为读写分解：前向传播（读路径）对所有域保持密集且不受损，跨域参数更新（写路径）则被结构化隔离，使先前域的参数子空间不被覆写
• 在 6 个异构域（散文/Python/数学/生物医学/中文/JavaScript）、3 个模型规模（~398M/~739M/~9B）上验证：LLaMA 3.1 8B 后向迁移仅 -0.007，域间梯度正交性 ≥ 99.59%
• 无需回放缓冲区、无需任务 ID、无需 Fisher 惩罚，且存在正向跨域迁移（Python 训练使 JavaScript PPL 下降 26.8%）

实践启示：持续预训练中的灾难性遗忘本质上是”写问题”而非”读问题”。从数据策略角度，TFGN 意味着不再需要维护回放数据集或精心设计数据混合比例来缓解遗忘——架构本身保障了稳定性。这对数据受限场景（无法获取先前域数据用于回放）尤其有价值，也为”数据序列编排如何影响最终模型”这一开放问题提供了新视角：当架构能隔离跨域更新时，数据顺序的影响可能大幅降低。