面向RLVR训练的信号真空感知训练数据工程：从全失败组路由到信号密度驱动的数据策展

背景与动机

强化学习与可验证奖励（RLVR）已成为提升大语言模型推理能力的核心后训练范式。其中，组相对策略优化（GRPO）因其无需独立评论家模型、仅需组内奖励差分计算优势的简洁性，被广泛应用于数学推理、代码生成和科学问答等任务。然而，GRPO存在一个被长期忽视的结构性缺陷——退化梯度问题（Degenerate Gradient Problem）。

当某个训练实例的 K 个采样响应全部不正确时（即”全失败组”，all-incorrect group），组内奖励 r₁ ≈ r₂ ≈ ⋯ ≈ r_K ≈ 0，优势 A_i = r_i - r̄ ≈ 0 对所有 i 成立，策略梯度近乎为零。这意味着该实例消耗了完整的采样与前向传播计算预算，却产生了零学习信号——形成”信号真空”（Signal Vacuum）。

2026年8月13日，阿里巴巴Qwen团队的I-SDPO论文（arXiv:2608.12957）首次系统揭示了这一问题并提出了算法级解决方案：将全失败组路由至特权自我蒸馏（privileged self-distillation），任何成功组保持标准GRPO。在SciKnowEval科学知识评测上，I-SDPO将平均mean@16准确率从56.67%（GRPO）提升至70.31%，最大领域增益达18.24分。

然而，I-SDPO解决的是算法路由问题——“全失败组来了怎么办”。从数据工程视角看，更根本的问题是：为什么这些实例会成为全失败组？全失败率本身编码了什么数据质量信息？能否从数据层面主动预防而非事后路由？

现有方案的三个不足：

1. 算法级补救而非数据级预防：I-SDPO在事后用自我蒸馏填充信号真空，但自我蒸馏的特权教师本身是学生的EMA，共享学生的系统性错误（论文§1明确指出此局限）。如果训练数据的难度分布从一开始就更好地校准，许多信号真空本可避免。

2. 信号真空率未被建模为数据质量信号：全失败率（Signal Vacuum Rate, SVR）随训练进度、问题类型和难度区间动态变化，其时间演化编码了能力前沿位置、难度校准质量和验证景观结构等丰富信息。现有数据工程框架（如DataMaster、EvoEnv、CurateEvo）均未将SVR纳入数据策展决策。

3. 持续性信号真空未被识别为能力盲区：部分实例在整个训练过程中始终处于全失败状态——它们不是”暂时太难”而是”持续性不可学”。这些实例对应着验证景观中的结构性悬崖或模型架构的根本能力边界，但现有课程学习与数据混合策略无法识别这一模式。

核心思路

我们提出信号真空感知训练数据工程（Signal Vacuum-Aware Training Data Engineering，VACUUM-DATA 框架），将全失败组的信号真空率（SVR）建模为一等训练数据质量信号，通过三阶段闭环从数据层面系统性消除RLVR训练中的梯度盲区。

核心定义：

• 信号真空率（Signal Vacuum Rate, SVR）：给定训练实例 x 和当前策略 π_θ，SVR(x, θ) = P[∀i ∈ {1,…,K}: r(x, y_i) = 0 | y_i ~ π_θ(·|x)]，即该实例在当前策略下产生全失败组的概率。
• 实例级信号真空分类：根据SVR的时间演化轨迹将训练实例分为四类——（1）过渡真空（SVR递减，随训练自然消解）、（2）持续真空（SVR高位恒定，能力盲区）、（3）振荡真空（SVR在0和1间剧烈波动，验证不稳定）、（4）偶发真空（SVR低位偶现，采样噪声）。

与现有工作的关键区别：

技术路线

阶段一：信号真空诊断（Signal Vacuum Diagnosis）

1.1 SVR估计与实例分类

对每个训练实例，通过多次GRPO采样回合（建议≥3个checkpoint）估计SVR的时间轨迹，拟合四类真空模式：

• 过渡真空：SVR(t) = α · exp(-βt) + ε，β > 0表示自然消解速率
• 持续真空：SVR(t) ≈ α > 0.8恒定，表明能力盲区
• 振荡真空：SVR(t)方差大，表明验证函数在该实例附近不稳定
• 偶发真空：SVR(t) < 0.2且偶现，属采样噪声

1.2 SVR分布画像

在数据集层面构建三维SVR画像：

• 难度-SVR曲线：按问题难度分箱统计SVR，识别”SVR悬崖”——SVR从0骤升至1的难度区间，即能力前沿的精确位置
• 领域-SVR矩阵：按问题领域×难度统计SVR，识别哪些领域的能力前沿更陡峭
• SVR-采样效率图：SVR × 计算浪费比（全失败组消耗的计算/总计算），量化信号真空的计算代价

1.3 持续真空根因分析

对持续真空实例进行结构化根因诊断：

• 验证悬崖型：验证函数在该实例附近呈二元悬崖（如数值精度阈值），小幅改进无法改变通过/失败状态
• 规约缺失型：问题规约不充分，多个合理答案中仅一个通过验证（参考Semantic Collapse, 2607.01953）
• 组合爆炸型：正确解需要长链条组合推理，每步成功率低导致整体成功率趋零
• 分布外型：问题特征超出训练分布，模型缺乏必要先验知识

阶段二：信号真空驱动数据策展（SVR-Driven Data Curation）

2.1 SVR门控采样（SVR-Gated Sampling）

根据实例的SVR分类采用不同采样策略：

• 过渡真空：保留在训练集中，随训练自然消解，无需特殊处理
• 持续真空：从主训练集移至”诊断缓冲区”，触发根因分析与定向数据合成
• 振荡真空：降低采样温度或增加采样数K以提高通过概率，或增强验证函数稳定性
• 偶发真空：增大K或降低采样温度即可消除，无需数据层面干预

2.2 真空定向数据合成（Vacuum-Targeted Synthesis）

针对持续真空的根因类型，定向合成填充信号真空的训练数据：

• 验证悬崖型 → 梯度桥接合成：在验证悬崖两侧合成中间难度实例，形成”验证梯度”——每个中间实例的SVR约0.5（部分成功），为GRPO提供有效梯度信号。参考验证景观感知框架（LANDSCAPE-AWARE, arXiv:2607.10474）的连续验证梯度思想。
• 规约缺失型 → 多解对齐合成：为同一问题合成多个正确解法变体，扩展验证函数的接受集，消除规约不足导致的假阴性。参考DUALFIX (2607.05121)的多解修复策略。
• 组合爆炸型 → 子目标分解合成：将长链条问题分解为子目标序列，每个子目标独立可验证，形成”成功阶梯”使模型从部分成功逐步走向完整解决
• 分布外型 → 先验注入合成：识别缺失的知识组件，合成包含该知识的前置训练实例

2.3 SVR感知数据混合（SVR-Aware Data Mixture）

在批次构建时，根据当前SVR分布动态调整数据混合比例：

• 有效信号密度最大化：优先纳入SVR ∈ [0.1, 0.7]的实例（“金区”——既有成功又有失败，GRPO梯度信号最强）
• 真空填充配额：为定向合成的桥接实例预留固定比例（建议10-15%）
• 领域SVR均衡：确保各领域的有效信号密度均衡，防止高SVR领域被低SVR领域”淹没”

阶段三：信号真空-能力共进化闭环（SVR-Capability Co-Evolution）

3.1 动态难度校准

随着训练进行，SVR分布发生变化（过渡真空消解、新实例被引入）。建立SVR监控回路：

• 每 N 步重新评估高SVR实例的SVR变化
• SVR降至阈值以下的实例回归主训练集
• 新引入实例经过SVR预评估，避免引入新的持续真空

3.2 教师依赖退火

对必须使用自我蒸馏的持续真空实例，设计教师依赖退火策略：

• 初始阶段：教师权重较高（参考I-SDPO的全失败组路由）
• 随定向数据合成逐步填充信号真空，SVR下降至金区后，自动切换为标准GRPO
• 退火判据：连续M次评估中SVR < 0.5且至少一次出现成功响应

3.3 真空-能力共进化指标

建立三个核心监控指标：

• 全局SVR：应随训练单调递减（过渡真空消解 + 定向合成生效）
• 金区覆盖率：SVR ∈ [0.1, 0.7]的实例比例，应维持在40-60%
• 持续真空库存：诊断缓冲区中的实例数量，应逐步减少（根因分析与合成逐步消除）

关键技术挑战

1. SVR估计的计算开销：每个实例需要多次采样估计SVR，计算成本高。解决方案：使用轻量级SVR预测器（基于问题特征和当前策略logit）减少实际采样需求。
2. 真空分类的时间窗口选择：过短的时间窗口导致误分类（将振荡误判为持续），过长则延迟干预。建议使用滑动窗口+贝叶斯更新。
3. 桥接合成的质量保障：合成的中间难度实例可能引入新的验证假阳性。需要交叉验证协议确保合成实例的验证正确性。
4. 金区定义的领域依赖性：不同领域的”有效信号密度金区”可能不同。需要领域自适应的SVR阈值校准。

预期成果

定量目标

1. 全局SVR降低：相比标准GRPO训练数据，全局SVR从基线30-50%（困难任务典型值）降至15-20%
2. 有效信号密度提升：金区覆盖率从基线20-30%提升至50-60%
3. 持续真空消除率：80%以上的初始持续真空实例通过定向合成降至金区或以下
4. 端到端性能：在SciKnowEval、AIME 2025、代码生成基准上，相比I-SDPO进一步提升3-5个百分点
5. 计算效率：通过减少全失败组的计算浪费，总训练Token效率提升15-25%

定性影响

1. 范式转变：将信号真空从”算法需要路由的异常”重构为”数据需要策展的信号”，从被动补救转向主动预防
2. 难度校准理论：SVR为训练数据难度校准提供了可量化、可监控的操作性指标，摆脱经验性难度分级
3. 教师依赖最小化：通过数据层面消除信号真空，减少对特权教师的依赖，避免I-SDPO指出的教师偏差累积风险
4. 可诊断性：持续真空根因分析为模型能力边界提供了结构化诊断工具，区分”数据问题”与”架构问题”

相关工作

1. I-SDPO: Instance-Level Adaptive Self-Distillation Policy Optimization (arXiv:2608.12957, 2026-08-13)

   • Qwen团队提出实例级自适应路由：全失败组用自我蒸馏，任何成功组保持GRPO
   • SciKnowEval平均mean@16从56.67%提升至70.31%
   • 本文将其算法级路由重构为数据级预防，将SVR从路由判据提升为数据质量信号

2. DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation (arXiv:2608.06243, 2026-08-06)

   • EverMind团队提出自适应传播门控制蒸馏信号的时间传播范围
   • 在三个数学推理基准×三个模型规模上全面超越标准OPSD
   • 本文借鉴其时间结构感知思想，将token级时间结构推广至实例级SVR时间轨迹

3. Compete Then Collaborate: SFT-RLVR Paradigm Gap (arXiv:2607.08255, 2026-07)

   • 揭示同一验证数据在SFT阶段退化但RLVR阶段提升的范式鸿沟现象
   • 提出范式依赖性数据质量理论Q(D, P)
   • 本文的SVR分类（过渡/持续/振荡/偶发）为范式鸿沟提供了实例级诊断粒度

4. Correct-Set Turnover (REMIND) (arXiv:2606.03087, 2026-06)

   • 揭示RLVR训练中正确集的流转动力学：获取与回归的耦合
   • 本文的SVR时间轨迹与正确集流转互补——SVR下降对应正确集获取，SVR上升对应正确集回归

5. Sample More Reflect Less (arXiv:2607.28576, 2026-07)

   • 证明等Token成本下，增加采样比增加反思更有效
   • 揭示反思应作为数据工程工具而非训练数据
   • 本文的SVR诊断可指导”在哪里增加采样”（高SVR实例）与”在哪里减少采样”（偶发真空实例）

6. State2State: Environment-Derived Mid-Training for LLM Agents (arXiv:2608.04934, 2026-08-05)

   • 将环境探索状态转化为训练目标，无需外部任务设计
   • 随机探索+多样性采样提供广覆盖状态
   • 本文的桥接合成借鉴其”从探索中发现可学习目标”的思想，但聚焦于验证景观而非环境状态