数据论文速递 · Vol.53

数据论文速递 · 2026年06月02日

本期聚焦数据密度与次扩展律、数据中心化训练统一框架、RLVR数据高效选择、后训练奖励密度分配原则、过程奖励模型数据合成五大方向

论文速递 arXiv 次扩展律 数据密度 数据中心化训练 RLVR 数据选择 奖励密度 过程奖励模型 数据合成

引言

本期数据论文速递聚焦五个前沿方向：次扩展律与数据密度揭示了高密度数据导致 Scaling Laws 偏移的根本机制；数据中心化训练框架将数据选择、混合与重加权统一到同一基础设施；RLVR 数据高效选择实现了仅用 20% 数据即超越全量 GRPO 训练；奖励密度分配原则为稀缺标注数据在教师-学生流水线中的最优分配提供了理论指导；过程奖励数据合成则解决了 PRM 训练数据的可控性与可验证性问题。五篇论文从不同维度推进了「以数据为中心」的大模型训练范式。

Sub-Scaling Laws: On the Role of Data Density and Training Strategies in LLMs

  • 论文信息：arXiv:2507.10613 | Zhengyu Chen, Siqi Wang, Teng Xiao 等 | 美团、香港大学、港科大、北大

  • 核心问题：传统 Scaling Laws 预测模型性能随规模单调提升，但实际大模型中普遍观察到性能增速放缓的”次扩展”（sub-scaling）现象。什么导致了 Scaling Laws 的偏移？

  • 关键发现：

    1. 对超过 400 个模型的系统分析表明，高数据密度（冗余信息多、多样性低）和非最优资源分配是次扩展的两大根因
    2. LLaMA 2 的 Scaling 曲线竟然优于 LLaMA 3，尽管后者有更先进的训练策略——数据密度差异是关键解释变量
    3. 提出 sub-optimal scaling law，在次扩展区间内比传统幂律更准确地预测性能，显式建模数据密度的影响
    4. 发现”最优重复次数随目标数据量减小而增大”的反直觉规律

  • 实践启示：在数据受限场景下，盲目增加数据量不如优化数据多样性。次扩展律为判断何时应该停止增加数据、转而优化数据质量或调整模型-数据资源分配提供了定量依据。

DataFlex: A Unified Framework for Data-Centric Dynamic Training of Large Language Models

  • 论文信息：arXiv:2603.26164 | Hao Liang, Zhengyang Zhao, Wentao Zhang 等 | 北京大学、OpenDataLab、上海交大

  • 核心问题：数据中心化训练方法（数据选择、数据混合、数据重加权）分散在不同代码库中，接口不统一，严重阻碍了可复现性和公平比较。如何构建统一基础设施？

  • 关键发现：

    1. DataFlex 基于 LLaMA-Factory 构建，支持三大动态数据优化范式：样本选择、领域混合调整和样本重加权，可作为标准训练的即插即用替代
    2. 统一了嵌入提取、推理和梯度计算等模型依赖操作，支持 DeepSpeed ZeRO-3 大规模训练
    3. 动态数据选择在 MMLU 上持续优于静态全数据训练（Mistral-7B 和 Llama-3.2-3B）
    4. DoReMi 和 ODM 数据混合方法在 SlimPajama 上预训练 Qwen2.5-1.5B 时，MMLU 准确率和语料困惑度均优于默认比例

  • 实践启示：DataFlex 为数据中心化方法提供了标准化实验平台，使得不同数据选择算法之间的公平比较成为可能。对于工程团队，可直接在其基础上快速集成和对比各种数据策略，降低试错成本。

DEPO: Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward

  • 论文信息：arXiv:2509.01321 | Xinyu Tang, Zhenduo Zhang, Wayne Xin Zhao 等 | 人民大学、蚂蚁集团

  • 核心问题：RLVR（可验证奖励强化学习）需要大量 rollout 计算和大规模数据集，训练成本高昂且数据效率低。如何在保持性能的同时大幅减少数据需求？

  • 关键发现：

    1. 提出端到端离线+在线数据选择管线：离线阶段基于多样性、影响力和适当难度筛选高质量子集（PageRank 加权 DPP），在线阶段基于探索性度量动态过滤低潜力样本
    2. 仅用 20% 训练数据，在 AIME24 上实现 1.85× 加速，AIME25 上实现 1.66× 加速（相比全量 GRPO）
    3. 在线阶段引入未充分探索样本回放机制，确保所有样本获得足够训练
    4. 跨 Qwen3-8B/14B/32B 验证了方法的可扩展性

  • 实践启示：RLVR 数据不是越多越好，精心挑选 20% 高质量、适当难度的数据即可超越全量训练。离线筛选关注多样性+影响力+难度分布，在线关注探索潜力，这一双阶段策略可直接应用于推理模型训练管线。

Beyond GRPO and On-Policy Distillation: An Empirical Sparse-to-Dense Reward Principle for Language-Model Post-Training

  • 论文信息：arXiv:2605.12483 | Yuanda Xu, Hejian Sang, Alborz Geramifard 等

  • 核心问题：在标注数据稀缺的条件下，稀缺的可验证数据应如何在不同模型和奖励密度之间分配？GRPO 和蒸馏不是独立的训练配方，而是不同的奖励密度体制。

  • 关键发现：

    1. 提出奖励密度原则：稀疏序列级奖励适合能探索发现的强模型，密集 token 级教师监督适合将行为压缩到小模型
    2. 四阶段流水线：教师 RL → forward-KL 预热 → 在策略蒸馏 → 可选学生端 RL
    3. 固定 Qwen3-1.7B 部署学生规模下，RL 增强的 8B 教师经稠密桥接蒸馏后 MATH 79.3%（vs 直接 GRPO 75.9%），AIME 25.2%（vs 19.8%）
    4. 消融实验确认每个阶段都不可或缺：移除 RL 教师丢 7.8 分，移除 KL 预热丢 1.7 分，移除蒸馏丢 3.3 分
    5. 在 Llama 系列复现了同样的排序：原始教师迁移 < 直接 GRPO < RL 教师迁移

  • 实践启示：稀缺标注数据不要直接喂给最弱的策略模型。应先在最强教师上用稀疏奖励做发现，再通过稠密监督压缩到部署模型，最后才在桥接后的学生上做稀疏 RL。这一原则重新定义了后训练的数据分配策略。

Controllable and Verifiable Process Data Synthesis for Process Reward Models

  • 论文信息：arXiv:2605.02395 | Yinghui Chi, Lucien Wang

  • 核心问题：过程奖励模型（PRM）需要高质量的过程监督数据，但现有方法对错误位置、错误类型和轨迹一致性的控制能力有限。如何合成可控且可验证的过程数据？

  • 关键发现：

    1. 提出符号推理链 → 注入模板感知错误 → 损坏状态重算 → 前缀不可推导验证的四步合成框架
    2. 合成的成对轨迹在首个错误处前缀无效（prefix-invalid），同时在符号重算后保持轨迹一致性（trajectory-consistent）
    3. 自动转换为对齐的自然语言过程，用于 PRM 训练和评估
    4. 合成数据在逻辑推理基准上改善了 Best-of-8 重排序性能，且可迁移到数学推理
    5. 步骤级评估揭示：首次错误定位比整体步骤分类困难得多，凸显了对细粒度可验证监督的需求

  • 实践启示：PRM 训练数据可以不再依赖昂贵的人工标注。通过符号推理链构造+可控错误注入，可以在保证轨迹一致性的前提下批量生成高质量过程监督数据。首次错误定位的困难性也为 PRM 评估提供了新的细粒度指标。