数据论文速递 · 2026年05月29日

本期速递覆盖数据合成、数据选择、Scaling Laws 与数据质量四个方向，精选 5 篇近期值得关注的论文。从 BES 的双向进化搜索突破自回归生成瓶颈，到 DATAMASK 在万亿 token 级实现质量-多样性联合选择，再到 SCARV 在冗余数据中发现排名不稳定性的根因与解法——数据工程正在从单一指标优化走向多目标协同。

---

BES: Self-Improving Language Models with Bidirectional Evolutionary Search

论文信息：Self-Improving Language Models with Bidirectional Evolutionary Search，arXiv:2605.28814，2026 年 5 月 27 日提交

核心问题：现有的自改进方法（如 best-of-N 采样、树搜索）依赖稀疏验证信号，且仅通过自回归扩展构建候选解，将探索限制在模型概率质量集中的狭窄区域，难以生成真正”意外”的高质量解。

关键发现：

• 提出双向进化搜索（BES）框架，将前向候选进化与后向目标分解相结合。前向搜索中，进化算子重组部分轨迹，生成无法从单次 rollout 获得的候选解；后向搜索递归将原始任务分解为可检查的子目标，产生密集中间反馈引导前向搜索。
• 理论证明：仅扩展搜索生成的候选解被限制在狭窄的熵壳（entropy shell）中，而进化算子可以逃逸该熵壳；后向搜索可指数级减少找到正确答案所需的样本数量。
• 实验表明，在主流训练后算法无法改进的挑战性任务上，BES 实现了持续增益；在三个开放问题求解基准的推理时测试中，BES 在平均和最佳性能上均优于现有开源框架。

实践启示：BES 展示了一种超越简单自回归采样的数据合成范式——通过进化重组和子目标分解，可以高效生成模型原本无法触及的高质量训练数据，这对推理数据的合成管线设计有直接启发。

---

DATAMASK: Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning

论文信息：Joint Selection for Large-Scale Pre-Training Data via Policy Gradient-based Mask Learning，arXiv:2512.24265，ICLR 2026 Poster

核心问题：大规模预训练数据选择中，质量指标（如 FineWeb-Edu、Ultra-FineWeb）在长期预训练中呈现严重边际递减，多样性指标（如 SemDedup）则移除过多有价值的高质量样本。由于贪婪算法在万亿级数据上的计算代价极高，质量和多样性指标鲜少在单一选择过程中联合优化。

关键发现：

• 将数据选择概念化为掩码学习（Mask Learning）问题：学习一个二元掩码向量，使选定子集的预定义目标函数最大化。引入概率松弛，通过策略梯度优化掩码采样 logits。
• 相比贪婪算法，DATAMASK 将选择时间缩短 98.9%，使万亿级 token 的联合优化成为可能。
• 从 15 万亿 token 的 FineWeb 数据集中选出约 10% 的子集 FineWeb-Mask，在 12 个任务上评估：1.5B Dense 模型平均提升 3.2%，7B MoE 模型平均提升 1.9%。

实践启示：质量和多样性不是零和博弈——策略梯度掩码学习可以在万亿规模上高效实现联合优化。对于实际预训练数据管线，建议将质量打分和多样性度量统一到一个可微的优化框架中，而非分阶段独立处理。

---

Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws

论文信息：Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws，arXiv:2605.21803，2026 年 5 月 20 日提交

核心问题：现有缩放定律将优化器视为固定的训练细节，仅从模型大小、数据和计算量来预测性能。但不同优化器是否会在同一架构中实现根本不同的表示结构？

关键发现：

• 通过前馈网络（FFN）表示的软谱秩和硬谱秩测量发现，同一 Transformer 架构使用不同优化器训练时会实现显著不同的谱缩放定律。
• AdamW 在学习最困难的稀有 token 表示上表现出弱硬秩缩放（β=0.44），而 Muon 在相同条件下实现了线性缩放（β=1.02），缩放指数提高 2.3 倍。
• 关键反直觉发现：AdamW 配置可以在困惑度上匹配低秩 Muon 变体，但表现出截然不同的谱几何结构——匹配的损失并不意味着匹配的表示结构。
• 优化器引起的谱移通常超过架构效应（如注意力秩和位置编码），表明优化应被视为表示缩放的一等轴。

实践启示：在缩放定律实验和模型对比中，必须将优化器作为显式变量纳入考量。仅看验证 loss 可能掩盖表示空间的根本差异——对数据工程而言，优化器的选择可能比简单的数据配比调整更深刻地影响模型如何”消化”训练数据。

---

SCARV: Structure-Constrained Aggregation for Stable Sample Ranking in Redundant NLP Datasets

论文信息：Structure-Constrained Aggregation for Stable Sample Ranking in Redundant NLP Datasets，arXiv:2605.00944，2026 年 5 月 1 日提交

核心问题：数据策展中广泛使用的逐样本评分-排名管线假设样本相互独立，但在包含精确重复、近似重复、改写等冗余结构的 NLP 语料中，随机训练种子会导致高度相似样本获得不稳定的相对排序，使得基于排名的数据选择不可复现。

关键发现：

• 提出 SCARV，一个模块化聚合框架：先通过多种子鲁棒聚合消除随机性，再通过结构感知聚合在冗余簇内分配排名。
• 核心发现：鲁棒多种子聚合是主要的通用稳定器，而结构感知组件主要在低聚合预算或冗余簇具有信息量的场景下提供增量价值。
• 在合成冗余、自然 QQP 冗余、多种代理评分族、多个 NLP 任务和端到端 DistilBERT 微调上验证，SCARV 在全局和局部稳定性上大幅优于裸代理排名，使基于排名的子集选择和可疑样本检索更加可复现。

实践启示：在大规模数据策展中，去重不仅是为了减少计算浪费——未处理的冗余结构还会破坏评分-排名管线的稳定性。建议在数据选择前先进行冗余簇识别，并在簇内而非逐样本地做排名和分配决策。

---

VERL: Semantic-Space Exploration and Exploitation in RLVR for LLM Reasoning

论文信息：Semantic-Space Exploration and Exploitation in RLVR for LLM Reasoning，arXiv:2509.23808，ACL 2026 Findings

核心问题：RLVR 中广泛讨论的”探索-利用权衡”可能并非推理行为的内在属性，而是 token 级测量的伪象。在语义更丰富的隐状态空间中，探索和利用是否可以被解耦并同时提升？

关键发现：

• 提出用隐状态的**有效秩（ER）量化探索，引入一阶导数有效秩速度（ERV）和二阶导数有效秩加速度（ERA）**刻画利用动态。
• 经验和理论分析表明：在隐状态语义空间中，ER 和 ERV 的相关性接近零——探索与利用可以解耦。
• 提出 VERL 方法，利用稳定的 ERA 作为元控制器，创建协同双通道激励结构：前瞻性放大探索奖励以预防过度自信，同时强化利用收益以巩固推理。
• 在多种 LLM 和推理基准上取得一致提升，包括在高考 2024 数据集上高达 21.4% 的绝对准确率提升。

实践启示：对 RLVR 训练数据的选择和课程设计，应从 token 级指标转向语义空间度量。高熵 token 不等于有效探索——隐状态空间的 ER/ERA 提供了更可靠的训练数据质量信号，可用于动态调整训练数据的采样策略。