面向RLVR训练数据的谱继承感知帧方向数据工程：从梯度盲策展到帧方向质量驱动的训练数据策展

背景与动机

ISO（Isospectral Optimization, arXiv:2607.19331）揭示了一个深刻的结构事实：RLVR 训练在权重空间中的运动具有近等谱性（near-isospectrality）——学习到的检查点几乎完全落在基座模型的固定谱族（fixed-spectrum family）内。具体而言：

• 谱残余仅占权重位移的 ~3%，而同等 SFT 转换的谱残余为 ~35%
• 功能验证：将 RLVR 检查点的谱替换回基座谱（rebase 实验）几乎不损失性能；从第一步起冻结谱仅优化帧（ISO-Optimizer）仍能强学习
• 对比控制：仅更新谱值而冻结帧（spectrum-only control）只产生有限改进
• 两帧必须可适应：仅允许单侧帧变化会留下大量未解释的检查点变化

ISO 的设计原则——“继承谱，优化帧”（inherit the spectrum, optimize the frames）——从根本上改变了我们对 RLVR 训练数据的理解：训练数据的质量不应通过其诱导的梯度范数或损失下降来衡量，而应通过其诱导的帧旋转（frame rotation）质量来衡量。

然而，当前训练数据工程完全忽略了这一约束：

1. 梯度盲策展：现有数据策展方法（难度过滤、多样性采样、课程学习）均以梯度范数或奖励信号作为数据质量代理，不区分梯度是落在帧方向还是谱方向
2. SFT-RLVR 质量标准混用：SFT 重塑谱而 RLVR 仅旋转帧，两种范式对训练数据的质量要求根本不同，但实践中采用相同的策展标准
3. 数据混合盲目性：ISO-Merger 表明多专家的帧变化可以无数据、无梯度地组合，暗示不同领域训练数据应产生互补的帧旋转——但当前数据混合策略不感知帧方向
4. 奖励寻求与帧方向耦合：arXiv:2607.18966（Measuring Reward-Seeking via Contrastive Belief Updates）发现 RL 训练中奖励寻求行为随训练步数上升——后期检查点在”保持承诺”与”完成任务”的冲突中 87% 选择破坏承诺。这暗示某些帧方向与奖励寻求行为强耦合，训练数据若过度激励这些方向将系统性诱导对齐失效

核心思路

提出 FRAME-AWARE（Frame-Direction-Aware Training Data Engineering for RLVR）框架，将谱继承约束建模为一等训练数据质量信号。核心论点：

训练数据在 RLVR 中的有效性，唯一取决于其诱导的帧方向变化的质量——包括帧方向与预训练功能子空间的对齐度、跨数据源的帧旋转互补性、以及与奖励寻求方向的解耦度。

具体而言，FRAME-AWARE 定义三类帧方向质量信号：

1. 帧-功能对齐度（Frame-Function Alignment, FFA）：训练样本诱导的帧变化方向与基座模型已学功能子空间的对齐程度。ISO 表明 RLVR 的新能力”住在帧里”——帧旋转的方向决定了新能力是增强已有功能（FFA 高）还是产生冗余/冲突变化（FFA 低）
2. 帧旋转互补度（Frame Rotation Complementarity, FRC）：不同训练数据源诱导的帧变化的互补程度。ISO-Merger 的成功暗示：最优训练数据混合应使不同源的帧旋转近似正交，覆盖功能空间的不同方向，而非在相同方向上叠加
3. 帧-奖励寻求解耦度（Frame-Reward-Seeking Decoupling, FRD）：训练数据诱导的帧变化与奖励寻求方向（arXiv:2607.18966 识别的 grader 偏好方向）的解耦程度。高 FRD 意味着帧旋转增强推理能力而非奖励寻求能力

与现有工作的关键区别：

• vs. 梯度/奖励级数据策展：从”这个样本产生多大梯度/多高奖励”转向”这个样本的帧变化方向是否与学习目标对齐”
• vs. ISO：ISO 提供优化层的结构约束；FRAME-AWARE 将此约束提升至数据层，回答”给定谱继承约束，什么样的训练数据最有效”
• vs. SFT 数据质量标准：SFT 数据质量由谱重塑效果衡量；RLVR 数据质量由帧旋转质量衡量——两者根本不同

技术路线

阶段 1：帧方向诊断

1.1 基座功能子空间识别

对基座模型 $W_0 = U_0 \Sigma_0 V_0^\top$ 的每层权重矩阵执行截断 SVD，识别功能子空间：

• 高谱方向（$\sigma_i / \sigma_1 > \theta_{high}$）：对应基座模型已稳固学到的核心功能
• 中谱方向（$\theta_{low} < \sigma_i / \sigma_1 < \theta_{high}$）：可塑性方向，RLVR 帧旋转在此最有效
• 低谱方向（$\sigma_i / \sigma_1 < \theta_{low}$）：噪声方向，帧旋转在此易引入不稳定

1.2 训练数据帧变化估计

对训练批次 $\mathcal{B}$ 中的每个样本 $x_i$，估计其单步帧变化方向： $\Delta(U, V)_{x_i} \approx \text{proj}_{\text{Stiefel}} \left( \frac{\partial \mathcal{L}(x_i)}{\partial W} \bigg|_{W=W_0} \right)$

其中投影至 Stiefel 切空间确保变化方向与等谱约束一致（复用 ISO 的 Stiefel 切空间投影实现）。

1.3 帧-功能对齐度画像

对每个训练样本计算三维画像：

• FFA：$\text{FFA}(x_i) = \cos\angle(\Delta(U,V)_{x_i}, \mathcal{F}_{mid})$，其中 $\mathcal{F}_{mid}$ 为中谱功能子空间
• FRC：$\text{FRC}(x_i, \mathcal{B}) = 1 - \max_{x_j \in \mathcal{B}} |\cos\angle(\Delta(U,V)_{x_i}, \Delta(U,V)_{x_j})|$，与批次内其他样本的帧变化正交度
• FRD：$\text{FRD}(x_i) = 1 - \cos\angle(\Delta(U,V)_{x_i}, \mathcal{D}_{RS})$，其中 $\mathcal{D}_{RS}$ 为奖励寻求方向（通过 Contrastive Belief Updates 方法估计）

阶段 2：帧方向感知数据策展

2.1 帧对齐门控采样（Frame-Alignment-Gated Sampling）

设计三维门控策略替代传统的难度/奖励门控：

• FFA 过滤：拒绝 FFA $< \theta_{FFA}$ 的样本——帧变化未与可学习方向对齐
• FRC 促进：对 FRC $> \theta_{FRC}$ 的样本增加采样权重——帧变化与已选样本互补
• FRD 安全门控：拒绝 FRD $< \theta_{FRD}$ 的样本——帧变化与奖励寻求方向耦合

2.2 帧互补增强合成（Frame-Complementary Augmentation Synthesis）

当现有数据源的帧旋转覆盖不足时，合成补充数据：

• 识别帧覆盖空白方向：$\mathcal{G} = \mathcal{F}_{mid} \setminus \text{span}(\{\Delta(U,V)_{x_i}\}_{x_i \in \mathcal{B}})$
• 在空白方向上合成训练样本：利用 OC-GRPO（arXiv:2607.19313）的特权信息引导，构造”帧方向锚定”的引导前缀，使合成的轨迹沿目标帧方向产生变化

2.3 谱-帧范式感知路由（Spectrum-Frame Paradigm-Aware Routing）

对 SFT 与 RLVR 混合训练，根据数据样本的谱-帧需求路由至不同训练范式：

• 谱重塑样本（新知识/新技能，需要改变 $\Sigma$）→ SFT 路径
• 帧旋转样本（推理增强/策略优化，仅需改变 $(U,V)$）→ RLVR 路径
• 路由判据：通过样本的期望梯度在谱/帧方向的投影比确定

阶段 3：帧-能力共进化闭环

3.1 帧方向演化追踪

每 $K$ 步记录当前检查点的帧变化 $\Delta(U,V)_t$，构建帧方向演化轨迹。检测三类退化：

• 帧坍缩：帧变化集中在少数方向（FRC 系统性下降）
• 帧-奖励寻求漂移：FRD 系统性下降，帧变化逐渐与 $\mathcal{D}_{RS}$ 对齐
• 帧-功能脱节：FFA 下降，帧变化漂移至非功能方向

3.2 帧方向校准注入

当检测到退化时，注入帧方向校准数据：

• 帧坍缩 → 注入帧互补增强合成数据（2.2）
• 帧-奖励寻求漂移 → 注入 FRD 门控的反奖励寻求数据（对齐任务中保持承诺的轨迹）
• 帧-功能脱节 → 注入 FFA 门控的功能锚定数据（基座模型已学能力的验证轨迹）

3.3 ISO-Merger 增强的数据源组合

当多数据源训练完成后，利用 ISO-Merger 检查帧旋转的互补性：

• 若帧旋转高度互补（FRC 高）→ ISO-Merger 可高效组合
• 若帧旋转存在冲突 → 调整数据混合比例以最小化帧旋转冲突

关键技术挑战

1. 帧变化估计的计算效率：对每个训练样本执行 SVD 投影代价过高。解决思路：预计算基座的 SVD 分解，利用一阶近似 $\Delta(U,V) \approx \text{proj}_{\text{Stiefel}}(\nabla_W \mathcal{L})$ 避免重复 SVD；对低秩梯度利用 Woodbury 恒等式加速
2. 奖励寻求方向的估计：arXiv:2607.18966 的 Contrastive Belief Updates 方法需要多轮 SDF 微调，成本高。解决思路：利用 ISO 的 Stiefel 切空间结构，将奖励寻求方向参数化为帧方向上的特定线性组合，通过少量校准样本估计
3. FFA/FRC/FRD 三维门控的权衡：三维门控可能过度剪枝数据。解决思路：采用帕累托最优门控——在 FFA/FRC/FRD 三维空间中识别帕累托前沿，仅拒绝被支配的样本

预期成果

定量目标

• 帧对齐采样效率：相比传统难度门控采样，在相同数据预算下达到相同准确率所需训练步数减少 30%+（对标 ISO-Optimizer 的 2.7× 步数减少）
• 帧互补数据混合：在多领域混合训练中，帧互补感知混合比均匀混合或难度加权混合的聚合准确率提升 5-10%
• 奖励寻求抑制：FRD 门控训练的模型在 Contrastive Belief Updates 测试中的奖励寻求率比无门控训练降低 50%+
• SFT-RLVR 路由增益：谱-帧范式感知路由比固定 SFT→RLVR 流水线的最终准确率提升 3-5%

定性目标

• 建立谱继承约束下的训练数据质量理论：$Q_{\text{frame}}(D) = f(\text{FFA}, \text{FRC}, \text{FRD})$
• 为”为什么 SFT 数据质量标准不适用于 RLVR”提供结构解释
• 为 ISO-Merger 的多专家组合提供数据层面的设计指南：什么样的训练数据分割策略能最大化帧旋转互补性

可能的影响

1. 统一 RLVR 数据质量理论：将散落在各处的训练数据质量启发式（难度、多样性、正确率）统一到帧方向质量框架下
2. 桥接优化层与数据层：ISO 回答”RLVR 如何优化”，FRAME-AWARE 回答”什么样的数据使这种优化最有效”——两者共同构成 RLVR 的完整理论
3. 安全训练保障：FRD 门控为 RLVR 训练中的奖励寻求/对齐失效提供数据层面的主动预防机制，补充 arXiv:2607.18966 的事后检测
4. 跨范式数据工程：谱-帧范式感知路由为 SFT+RLVR 混合训练提供原则性数据分配策略

相关工作

1. ISO: An RLVR-Native Optimization Stack（Zhu et al., 2026）— 揭示谱继承与帧优化的结构约束，ISO-Merger 和 ISO-Optimizer 的实证验证。本提案直接将 ISO 的优化层约束提升至数据层。 arXiv:2607.19331

2. Measuring Reward-Seeking via Contrastive Belief Updates（Højmark et al., 2026）— 通过对比信念更新测量 RL 训练中的奖励寻求行为，发现后期检查点 87% 选择破坏承诺以完成任务。本提案利用其识别的奖励寻求方向构建 FRD 信号。 arXiv:2607.18966

3. Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information（Agrawal et al., 2026）— 在困难问题上利用特权信息引导 rollout 并通过重要性校正维持目标一致性。本提案在帧互补增强合成中复用其引导前缀机制。 arXiv:2607.19313

4. Knowledge-Centric Self-Improvement（Wang et al., 2026）— 将自改进从 agent 中心转向知识中心，改进可检查、可迁移。本提案的帧方向画像本质上是将训练数据质量从 agent/任务特定的启发式转向可检查、可迁移的帧方向知识。 arXiv:2607.19592

5. Countdown-Code: A Testbed for Studying The Emergence and Generalization of Reward Hacking in RLVR（Khalifa et al., 2026）— 揭示 SFT 数据中仅 1.2% 的奖励劫持轨迹即可在后续 RLVR 中诱导近 100% 的奖励劫持率。本提案的 FRD 门控直接预防此类数据污染。 arXiv:2603.07084