研究提案 已修订

面向异构LLM强化学习的跨策略经验保真诊断与自适应策展

诊断异构策略间经验共享中的三类保真退化（分词边界漂移、能力曲线错位、奖励语义漂移），提出自适应策展框架CROSS-FIDELITY实现保真感知的经验筛选与优势校准

异构强化学习 经验共享 数据保真 RL后训练 跨策略学习 信用归因 大模型数据工程

背景与动机

大型语言模型（LLM）的强化学习后训练（RL post-training）正从单一策略自我进化走向多策略协同进化。近期，Mutual Reinforcement Learning（Mutual RL, 2605.07244）框架首次实现了异构LLM策略间的类型化经验共享——不同架构、分词器、训练分布的策略可以在保持各自参数独立的前提下交换经验。然而，该工作揭示了一个核心张力：稳定性-支撑性权衡（stability-support trade-off）。数据级共享（PRP）提供广泛数据支撑但付出密度比方差代价，价值级共享（xGRPO）保持策略支撑但改变标量基线，结果级共享（SGT）在评估体制中占据有利位置但信息粒度最粗。

这一权衡的根源在于：异构策略间的经验并非天然保真。当一条轨迹从源策略”翻译”到目标策略时——经过分词器异构层（THL）的重分词与对齐——其隐含的推理粒度、难度语义和信用结构都会发生微妙但系统的畸变。现有工作将这种畸变视为不可避免的噪声，仅通过选择共享层级来规避，而未对畸变本身进行诊断与修复。这导致以下问题：

  1. 保真盲区：无法判断一条共享轨迹在”翻译”后是否仍携带有效的学习信号，低保真经验可能引入噪声甚至有害梯度。
  2. 静态策略：当前共享层级的选择是固定的（SGT > xGRPO > PRP），不随策略能力演化而自适应调整，错失了策略趋同后更激进共享的机会。
  3. 信用错配：Verifiable Process Rewards（VPR, 2605.10325）揭示了长程推理中过程级信用归因的重要性，但跨策略共享中，同一结果奖励在不同策略间携带的隐式过程信息完全不同——源策略中的”常规步骤”对目标策略可能是”不可达步骤”，导致信用错配。

同时，Verifier-Free RL（VIGOR, 2605.09920）表明策略自身可以产生内在偏好信号，这为评估共享经验的保真度提供了新工具——我们可以利用目标策略的内在信号来验证共享经验是否与其当前认知状态对齐。

核心思路

我们提出 CROSS-FIDELITY 框架，将跨策略经验共享从”选择共享层级”推进到”保真感知的自适应策展”。核心主张：异构策略间共享经验的保真退化可以被显式诊断、量化度量并主动修复，从而突破稳定性-支撑性权衡的固有边界。

框架定义三类保真退化模式，并分别设计诊断与修复机制：

  1. 分词边界漂移（Tokenization Boundary Drift, TBD）：THL重分词后，推理步骤的语义边界可能发生漂移——源策略中的一个”正确步骤”在目标策略的分词下可能被碎片化或合并，导致优势计算的基础单元发生偏移。诊断：通过分词对齐图计算步骤级语义一致性分数；修复：基于对齐图的步骤重切分与优势重分配。

  2. 能力曲线错位（Capability-Curve Misalignment, CCM）：来自更强策略的轨迹可能探索了目标策略当前无法可靠复现的推理路径，产生”幻影优势”（phantom advantage）——高优势值对应不可达步骤，引发梯度不稳定。诊断：利用VIGOR式内在梯度范数估计步骤可达性；修复：对不可达步骤的优势进行衰减校准，使信用归因锚定在目标策略的能力前沿上。

  3. 奖励语义漂移（Reward Semantic Drift, RSD）：同一结果奖励在不同策略间携带的隐式过程信息不同——源策略中的”艰苦攻关”步骤与”例行”步骤在目标策略中可能具有截然不同的学习价值，但当前方法统一处理。诊断：通过对比源策略与目标策略在相似轨迹上的过程奖励分布偏移来量化；修复：基于VPR式可验证过程信号的语义重校准。

与现有工作的关键区别：

维度Mutual RLCROSS-FIDELITY
经验质量视为不可控噪声显式诊断与修复
共享策略固定层级选择保真阈值自适应调整
信用归因结果级统一保真感知的步骤级校准
演化能力静态权衡边界动态突破权衡边界

技术路线

第一阶段：保真退化诊断体系

1.1 分词边界漂移诊断

  • 构建源策略-目标策略的分词对齐图（Token Alignment Graph）：对每条共享轨迹，将源分词序列与目标分词序列进行最优对齐，得到1:1、1:n、n:1三种对齐模式
  • 定义步骤语义一致性分数：STBD=1∣A∣∑(i,j)∈Asim(hisrc,hjtgt)S_{TBD} = \frac{1}{|A|}\sum_{(i,j) \in A} \text{sim}(h_i^{src}, h_j^{tgt})，其中AA为对齐边集合，hh为步骤级语义表示
  • 识别漂移热点：当对齐模式为1:n或n:1且语义一致性低于阈值时，标记为漂移步骤

1.2 能力曲线错位诊断

  • 对共享轨迹中的每个步骤kk，计算目标策略的内在可达性分数：Rk=exp⁡(−α∥∇θLkforce∥2)R_k = \exp(-\alpha \|\nabla_\theta \mathcal{L}_{k}^{force}\|_2)，借用VIGOR的梯度范数思路——高梯度范数意味着步骤远离当前策略
  • 定义幻影优势指标：Pk=Aksrc⋅(1−Rk)P_k = A_k^{src} \cdot (1 - R_k)，其中AksrcA_k^{src}为源策略的优势值
  • 标记高幻影优势步骤为CCM退化热点

1.3 奖励语义漂移诊断

  • 在源策略与目标策略各自的独立rollout中，收集同一任务域的过程奖励分布
  • 计算步骤级语义漂移量：DRSD(k)=DKL(psrc(r∣sk)∥ptgt(r∣sk))D_{RSD}(k) = D_{KL}(p_{src}(r|s_k) \| p_{tgt}(r|s_k))
  • 高KL散度步骤标记为RSD退化热点

第二阶段：自适应策展机制

2.1 保真评分与准入决策

  • 对每条共享轨迹计算综合保真分数：F=λ1(1−STBD)+λ2Pˉ+λ3DˉRSDF = \lambda_1(1-S_{TBD}) + \lambda_2 \bar{P} + \lambda_3 \bar{D}_{RSD}
  • 基于保真分数决定准入级别：
    • F<θ1F < \theta_1：数据级共享（PRP），允许进入轨迹池但独立计算优势
    • θ1≤F<θ2\theta_1 \leq F < \theta_2：价值级共享（xGRPO），共享优势估计但使用目标策略基线
    • F≥θ2F \geq \theta_2：结果级共享（SGT），完全信任对端成功信号
    • 高退化但可修复：进入修复管线

2.2 保真感知优势校准

  • TBD修复：基于分词对齐图，将源优势按对齐比例重分配到目标分词边界，保持步骤级信用的一致性
  • CCM修复：对幻影优势步骤进行可达性衰减校准：A^k=Ak⋅Rkβ\hat{A}_k = A_k \cdot R_k^\beta，其中β\beta为衰减系数
  • RSD修复：利用VPR式过程验证信号（当可用时）或VIGOR式内在信号（当验证器不可用时）对奖励语义进行重校准

2.3 阈值共进化

  • 随着策略能力提升，保真阈值θ1,θ2\theta_1, \theta_2动态调整
  • 使用contextual bandit框架：每个训练周期，以ϵ\epsilon-贪心方式尝试更激进的共享级别，若训练稳定则提升阈值
  • 引入保真预测器：基于历史保真分数训练轻量预测器，预判新轨迹的保真等级

第三阶段：验证与消融

3.1 主实验

  • 模型配置：Qwen2.5-7B + Llama-3.1-8B 异构对；Qwen2.5-3B + Qwen2.5-7B 同族异构对
  • 任务域：数学推理（GSM8K/MATH）、代码生成（HumanEval/MBPP）、长程推理（ProofNet）
  • 对比基线：独立GRPO、PRP、xGRPO、SGT（复现Mutual RL）
  • 评估指标：任务准确率、训练稳定性（奖励方差）、收敛速度

3.2 消融实验

  • 逐一移除TBD/CCM/RSD诊断与修复，观察保真退化对训练的影响
  • 对比固定阈值 vs 自适应阈值
  • 对比有VPR过程信号 vs 仅VIGOR内在信号的RSD修复效果

3.3 泛化验证

  • 三策略异构场景：Qwen3-4B + Llama-3.1-8B + Gemma-3-7B
  • 领域迁移：数学训练 → 代码测试

关键技术挑战

  1. 分词对齐的语义保持：1:n和n:1对齐模式下的步骤语义表示提取需要跨词表语义空间对齐，可能需要轻量映射网络
  2. 内在可达性的校准：VIGOR的梯度范数信号反映”与当前策略的对齐度”而非”可达性”，需要解耦”不熟悉”与”不可达”
  3. 多退化模式的交互效应：TBD、CCM、RSD可能同时发生在同一步骤上，交互效应难以孤立分析
  4. 阈值共进化的稳定性：ϵ\epsilon-贪心策略在RL训练中可能引入额外的方差，需要设计稳定性保障机制

预期成果

定量目标

  • 在异构双策略场景下，相比最优静态共享策略（SGT），CROSS-FIDELITY在GSM8K上提升2-4%准确率，在代码生成任务上提升1-3%
  • 将训练过程中的奖励方差降低30%以上，表明保真感知策展有效抑制了噪声梯度的引入
  • 三策略场景下展现近似线性的增益叠加（而非边际递减），验证框架的可扩展性

定性目标

  • 建立跨策略经验保真的形式化定义与诊断体系，为异构RL训练数据工程提供理论工具
  • 揭示三类保真退化模式在异构策略对中的分布规律（如：同族异构对以CCM为主，跨族异构对以TBD为主）
  • 证明自适应策展可以动态突破Mutual RL识别的稳定性-支撑性权衡边界

可能的影响

  • 数据工程范式转变：从”选择共享层级”到”保真感知策展”，为异构模型协作训练提供新的数据质量控制范式
  • 连接RL数据工程与过程奖励：将VPR的过程信号与VIGOR的内在信号统一到保真诊断框架中，桥接两个活跃研究方向
  • 推动联邦式RL后训练：为未来多机构、多模型的联邦RL训练场景提供数据质量保障基础设施

相关工作

  1. Mutual Reinforcement Learning: Experience Sharing in Heterogeneous Language Models (Liu et al., 2026)

    • 首次提出异构LLM策略间的类型化经验共享框架，识别稳定性-支撑性权衡
    • arXiv:2605.07244

  2. Verifiable Process Rewards for Agentic Reasoning (Yuan et al., 2026)

    • 将可验证的中间步骤oracle转化为密集的过程级监督信号，解决长程推理的信用归因问题
    • arXiv:2605.10325

  3. Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward (VIGOR) (Wen et al., 2026)

    • 利用策略自身的梯度范数作为内在偏好信号，消除RLVR对验证器的依赖
    • arXiv:2605.09920

  4. Heterogeneous Agent Collaborative Reinforcement Learning (2026)

    • 研究异构Agent间的协作RL，提出能力感知的梯度缩放与信任校准机制
    • arXiv:2603.02604

  5. Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning (Shi et al., 2026)

    • 在单策略内统一技能选择、利用与蒸馏的共进化，展示频率分解的信用归因思路
    • arXiv:2605.06130

关联内容

研究 🔍 深入
自进化智能体内奖励漂移的诊断与锚定校准：面向策略-奖励共进化中的完整性验证
提出 REWARD-GUARD 框架，通过诊断策略-奖励共进化中的内奖励漂移模式（自洽漂移、锚点遗忘、分布坍缩），利用可验证外部信号作为锚点进行周期性校准，保障自进化智能体内奖励的忠实性
研究 🔗 相关
面向迭代对齐训练的过程奖励鲁棒性退化诊断与准则锚定校准
诊断迭代RL训练中过程奖励模型的三类鲁棒性退化模式（流式-逻辑解耦、奖励景观膨胀、风格捷径寄生），提出准则锚定的周期性校准框架PRM-GUARD
研究 🔗 相关
Agentic RL 中的 Reward Hacking 问题
系统综述 6 类 Hack 实例、7 篇核心论文及工业界防御策略