数据论文速递 · 2026年05月26日

引言

本期速递精选 5 篇来自 arXiv 最新提交的论文，覆盖从预训练数据记忆行为到后训练数据合成的全链路问题。

一个值得关注的趋势是：数据问题的研究正在从”工程经验”走向”理论解释”——Model Collapse as Cultural Evolution 用文化进化理论重新解释模型崩塌，Memorization Dynamics of FIM Pretraining 则精细刻画了预训练目标与记忆行为之间的因果联系。与此同时，ARES 展示了如何从原始文档自动构建 RL 训练数据，而 SF-NorMuon 则提出了无需预设训练周期的优化方案，直接冲击了 Scaling Laws 的实践前提。

---

Model Collapse as Cultural Evolution

• 论文信息：Model Collapse as Cultural Evolution · arXiv:2605.23054 · CoNLL 2026
• 核心问题：LLM 在自身输出上迭代训练导致的模型崩塌已有统计层面的描述，但缺乏语言学解释——哪些结构退化、退化顺序如何、为什么退化？
• 关键发现：
  1. 将模型崩塌重新定义为文化传递现象，而非单纯统计退化。迭代学习理论（iterated learning）的五项预测全部被确认（Hedges’ g > 1.6, BF₁₀ > 100）
  2. 最关键的区分性发现：无过滤自训练下，组合性（compositionality）呈非单调轨迹——先升后降。这一特征在最大程度规则的种子数据中仍存在，排除了”噪声去除”的解释
  3. 仅任务导向的过滤（task-grounded filtering）能维持组合性，随机过滤无效——首次在 LLM 规模上验证了压缩-通信权衡
  4. LLM 正则化梯度与人类行为数据高度吻合（R² = 0.94）
• 实践启示：自训练数据管线应使用任务导向的过滤策略而非随机过滤来减缓崩塌；文化进化理论为理解合成数据退化提供了可证伪的预测框架

---

Memorization Dynamics of Fill-in-the-Middle Pretraining

• 论文信息：Memorization Dynamics of Fill-in-the-Middle Pretraining · arXiv:2605.22981 · MemFM @ ICML 2026
• 核心问题：Fill-in-the-Middle (FIM) 是广泛使用的预训练目标，但它对模型逐字记忆行为的影响未被系统研究
• 关键发现：
  1. FIM 训练的模型更倾向恢复短片段或部分匹配文本，而 LTR 训练更倾向长段精确续写——预训练目标从根本上改变了记忆模式
  2. 逐字提取量随数据重复次数近似线性增长
  3. FIM 训练下的逐字回忆仍然强烈依赖前缀上下文，仅靠后缀上下文不足以致回忆——FIM 并未创造”双向记忆”
  4. 仅评估单一 span 长度或探测格式会遗漏记忆行为的重要差异
• 实践启示：预训练数据去重/控制重复的必要性再次被实证支持；评估模型记忆行为应采用多维度方案；FIM 目标虽然降低了长段精确复述风险，但短片段的部分记忆特性仍需关注

---

What Training Data Teaches RL Memory Agents

• 论文信息：What Training Data Teaches RL Memory Agents: An Empirical Study of Curriculum Effects in Memory-Augmented QA · arXiv:2605.23067
• 核心问题：现有 RL 训练记忆增强 LLM Agent 的研究仅在单一基准上训练，训练数据组成如何影响 Agent 习得技能尚不清楚
• 关键发现：
  1. 课程组合（curriculum composition）是精细化的特化杠杆，而非均匀的性能缩放因子
  2. 混合基准课程（LoCoMo + LongMemEval）在两个评估集上均取得最强整体 F1
  3. 窄域 out-of-domain 训练可迁移靶向技能——时序推理，尽管整体表现较弱
  4. 各问题类型间差异远大于聚合指标差异——单一指标系统性低估课程效应
• 实践启示：跨基准混合训练需过滤记忆库中格式特定噪声以保持训练信号；小群组规模（G=4）下二元精确匹配奖励无法产生有效学习信号，需使用连续奖励函数；数据混合策略应以问题类型粒度设计，而非仅看聚合指标

---

ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning

• 论文信息：ARES: Automated Rubric Synthesis for Scalable LLM Reinforcement Learning · arXiv:2605.23454
• 核心问题：基于评分准则（rubric）的 RL 能将 LLM 训练拓展到自动可验证答案之外的任务，但现有方法依赖专家手写评分标准和手动构建问题集，且固定任务级评分标准无法捕捉个体问题的评估需求
• 关键发现：
  1. 提出 ARES 框架，从原始预训练文档出发自动构建 rubric-based RL 数据——协同生成问答对和问题特定的加权评分标准
  2. 通过领域标签条件化 + 角色信息条件化提升多样性，配合三重验证过滤器（问题自包含性、答案忠实性、评分标准有效性）保证质量
  3. 成功构建跨 10 个领域的 10 万条评分标准标注实例
  4. 在 7 个基准上，ARES 训练的 rubric-based RL 超越 CPT、SFT 和二值奖励 RL，在医疗健康和指令遵循等多维开放式任务上提升最大
• 实践启示：为 rubric-based RL 的大规模应用扫除了数据构建瓶颈；问题级加权评分标准比固定任务级标准更精细，显著改善开放式回答的优化效果；生成+验证管线设计可复用于其他需要自动评估标准的场景

---

Anytime Training with Schedule-Free Spectral Optimization

• 论文信息：Anytime Training with Schedule-Free Spectral Optimization · arXiv:2605.23061
• 核心问题：标准训练依赖与固定训练周期绑定的学习率调度，当数据可用性或训练周期变化时需重新调参；现有无调度优化器 SF-AdamW 性能始终不如调优后的 AdamW
• 关键发现：
  1. 提出 SF-NorMuon，一种无调度谱优化器，用单一超参数配置在 125M-772M 参数语言模型上覆盖 1× 到 8× Chinchilla 周期，达到或超越调优后的 AdamW
  2. 理论上证明了无调度谱动力学的平稳性保证
  3. 识别出快速迭代处施加权重衰减对长周期训练稳定性至关重要
• 实践启示：消除了因训练周期变化而重新调优学习率调度的负担，从业者可在训练任意时刻获取高质量检查点；对 Scaling Laws 实践有直接影响——训练不再需要预设总 token 预算即可优化；为真正的开放式持续学习迈出关键一步