数据论文速递 · 2026年05月23日

引言

本期论文速递呈现了一个颇具冲击力的发现：足够计算量下，最佳数据过滤器可能是不做过滤。这一”Bitter Lesson”式的结论直接挑战了当前预训练数据策展的核心假设。与此同时，推理数据选择领域出现了统一化趋势——高熵求和（HES）指标在 SFT/RFT/RL 三大训练范式下一致有效；预训练数据的时序排列被证明对事实知识的新鲜度有显著影响；MindLoom 提出将推理难度分解为可组合的”思维模式”，为合成数据提供了更精细的控制手段；持续预训练的学习动力学则首次将分布偏移与学习率退火解耦，建立了可预测任意训练步的 Scaling Law。

---

A Bitter Lesson for Data Filtering

论文信息：A Bitter Lesson for Data Filtering · arXiv:2605.19407

核心问题：在 LLM 预训练中，过滤低质量数据是否真的有益？业界普遍认为”只保留高质量数据”是预训练数据策展的金科玉律，但这一假设在高计算量、数据稀缺场景下是否仍然成立？

关键发现：作者通过大规模 Scaling 实验发现，在足够计算量下，最佳数据过滤器就是不做过滤。充分训练的大参数模型不仅能容忍低质量和干扰数据，实际上还能从名义上”差”的数据中获益。这意味着在数据受限、计算充裕的 regime 下，传统数据过滤策略可能适得其反——丢弃”低质量”数据的同时也丢弃了潜在的有用信号。这一发现呼应了 Sutton 著名的”Bitter Lesson”：利用计算的通用方法最终胜过依赖人类先验知识的方法。

实践启示：对数据受限的预训练场景，应重新审视数据过滤的投入产出比。当计算预算远大于数据量时，与其花大力气过滤数据，不如让模型自己学会处理噪声——这可能比精心设计的过滤器更有效。但需注意，该结论可能不适用于计算受限或微调场景。

---

Unified Data Selection for LLM Reasoning

论文信息：Unified Data Selection for LLM Reasoning · arXiv:2605.22389

核心问题：如何在 SFT、RFT（Rejection Fine-tuning）和 RL 三种主流推理训练范式下，用统一且高效的方法选择高质量推理数据？现有方法要么计算成本高昂，要么无法可靠区分推理样本的质量。

关键发现：提出 HES（High-Entropy Sum）——一种免训练的推理数据质量度量指标，仅对每个推理样本中熵最高的极少量 token（如前 0.5%）的熵值求和。在 SFT 中，用 HES 排名前 20% 的数据即可达到全数据集性能，而使用最低 HES 数据反而导致性能退化；在 RFT 中，HES 显著优于基线方法；在 RL 中，HES 筛选的成功轨迹使模型学到更强的推理模式，大幅超越对比方法。HES 的核心洞察是：高质量推理过程的关键决策点（如”分叉口”）具有高不确定性，而这些高熵 token 恰是推理能力提升的关键信号。

实践启示：HES 提供了一个极低成本的推理数据筛选方案，无需额外训练即可跨范式使用。对后训练数据策展而言，关注推理链中的”关键决策点”比整体质量评分更有价值——这与”推理密度”的思路一脉相承。

---

Understanding Data Temporality Impact on Large Language Models Pre-training

论文信息：Understanding Data Temporality Impact on Large Language Models Pre-training · arXiv:2605.22769

核心问题：预训练数据的排列顺序是否影响模型对时序敏感事实知识的习得？当前 LLM 训练通常打乱（shuffle）语料，但这是否会导致模型的时间锚定能力受损？

关键发现：作者构建了包含 7,000+ 时序锚定问题的综合基准，并在 6B 参数模型上对比了按时间顺序排列训练与标准打乱训练的效果。结果表明：按时间顺序训练的模型在通用语言理解和常识知识上与打乱基线持平，但在事实知识的新鲜度和时序精确性上一致优于打乱训练。打乱训练在旧数据上表现峰值，可能是因为旧事实在语料中重复率更高。这表明数据排列顺序是一个被长期忽视但影响显著的训练变量。

实践启示：对需要时效性知识的模型（如搜索引擎、新闻摘要），按时间顺序组织预训练数据可能是简单有效的策略。这一发现也为持续预训练的设计提供了新视角——如何利用数据时序性来优化事实更新，而非仅依赖增量训练。

---

MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis

论文信息：MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis · arXiv:2605.21630

核心问题：如何系统性地合成前沿级别的推理数据？现有合成方法难以精确控制难度和多样性，因为缺乏对推理问题难度结构因素的理解。

关键发现：MindLoom 将推理问题的难度分解为原子化的知识-推理变换（思维模式，Thought Modes）的累积。框架首先将难题的解法分解为思维模式链，训练检索模型匹配问题状态与兼容的思维模式，然后通过迭代应用检索到的思维模式来组合新问题，并使用分布对齐采样鼓励推理覆盖的多样性。最终通过 rollout 评判标注难度等级并提供验证正确的回答用于 SFT。在 9 个基准（5 个 STEM + 4 个数学推理）和多模型家族上的实验表明，MindLoom 生成的数据显著优于基础模型、蒸馏基线和外部数据基线。

实践启示：将推理难度分解为可组合的原子单元是控制合成数据质量的实用范式。相比直接生成”难题”，先理解难在何处（思维模式链），再定向组合，能更精确地控制数据的难度分布和推理多样性——这对后训练数据工程尤为重要。

---

Learning Dynamics in Continual Pre-Training for Large Language Models

论文信息：Learning Dynamics in Continual Pre-Training for Large Language Models · arXiv:2605.07796

核心问题：如何定量描述持续预训练（CPT）全过程的性能演变？现有 CPT Scaling Law 只能预测最终性能，无法追踪训练过程中通用域和目标域性能的变化动态。

关键发现：作者发现 CPT 的 loss 曲线本质上是从一个曲线到另一个隐含曲线的过渡，可以解耦为分布偏移效应和学习率退火效应两个因素。基于此建立了 CPT Scaling Law，能够预测任意训练步、跨学习率调度的 loss 值。该框架系统揭示了多个关键因素的影响：loss 潜力（loss potential）、峰值学习率、训练步数、回放比率等。此外，该方法可针对不同 CPT 目标（如平衡通用与领域性能）定制超参数。实验在多种 CPT 数据集和超参数配置下验证了 Scaling Law 的有效性，已被 ICML 2026 接收。

实践启示：对 CPT 实践者而言，该 Scaling Law 使得在启动大规模训练前即可精确预测不同配置下的 loss 轨迹成为可能。回放比率和训练步数不再是经验调参，而是可通过公式优化。这也为”何时停止 CPT”这一关键决策提供了理论依据。