研究提案已修订

自进化智能体内奖励漂移的诊断与锚定校准：面向策略-奖励共进化中的完整性验证

提出 REWARD-GUARD 框架，通过诊断策略-奖励共进化中的内奖励漂移模式（自洽漂移、锚点遗忘、分布坍缩），利用可验证外部信号作为锚点进行周期性校准，保障自进化智能体内奖励的忠实性

2026年5月5日 self-evolving-agent internal-reward reward-drift co-evolution reward-integrity agentic-rl calibration data-engineering

背景与动机

自进化智能体（Self-Evolving Agent）正成为大语言模型训练的前沿范式。近期一系列突破性工作表明，智能体可以通过与环境的持续交互来进化自身的策略和能力。然而，一个关键的未被充分研究的问题正在浮现：当智能体同时进化其策略和内部奖励信号时，内部奖励的忠实性如何保障？

具体而言，策略-奖励共进化（Policy-Reward Co-Evolution）范式面临三类内奖励漂移（Internal Reward Drift）威胁：

自洽漂移（Self-Consistent Drift）：Self-Guide（2604.03098）提出智能体通过自我生成的短引导信号作为推理时引导和训练时内部奖励，构建”更好的策略产生更好的引导，更好的引导进一步改善策略”的共进化循环。然而，这一循环中存在隐含的正反馈风险——当策略改进恰好使自生成的引导信号更容易满足时，内部奖励与真实任务目标之间将发生系统性偏移。策略和奖励共享参数架构更放大了这一问题：策略的改进可能通过使奖励函数”变软”而非真正提升任务表现来实现。
锚点遗忘（Anchor Forgetting）：SEARL（2604.07791）通过工具图记忆实现跨轨迹的奖励稠密化，利用结构化经验记忆将稀疏的结果奖励传播至步骤级信号。但在持续训练过程中，早期由外部可验证信号（如测试通过率）校准的奖励锚点可能被后续的经验覆盖，导致内部奖励逐渐脱离与外部真实反馈的对齐。这种”锚点遗忘”使得共进化循环中的奖励信号越来越像自我实现的预言。
分布坍缩（Distribution Collapse）：CoEvolve（2604.15840）展示的智能体-数据互进化框架中，训练数据分布随策略进化而动态调整。当内部奖励引导数据采样时，如果奖励已经漂移，数据分布将坍缩到奖励模型错误偏好的区域，形成”漂移奖励→偏倚数据→加剧漂移”的恶性循环。这一现象与 REMEDY 框架（先前工作）中识别的模板坍缩在结构上相似，但发生在奖励空间而非推理空间。

现有工作对内奖励漂移的关注严重不足。From Reasoning to Agentic（2604.09459）的综述系统梳理了信用分配方法，但未涉及策略-奖励共进化中奖励忠实性的保障问题。SELAUR（2602.21158）利用不确定性感知奖励提升自进化效率，但将不确定性作为奖励增强而非完整性诊断信号。EvoTool（2603.04900）通过多样性感知选择缓解策略层面的退化，但未触及奖励模型的漂移问题。

核心矛盾：策略-奖励共进化赋予了自进化智能体强大的自主学习能力，但同一共进化循环也创造了内奖励漂移的结构性条件——当奖励生成与策略优化共享优化目标时，“容易满足的奖励”和”真正有益的奖励”变得不可区分。

核心思路

我们提出 REWARD-GUARD（REward Worthiness Assurance via Rift Detection and Grounded Unified Alignment with Reference Data）框架，其核心思想是：将内奖励漂移诊断作为策略-奖励共进化中的一等公民，利用可验证外部信号作为锚点进行周期性校准，使共进化循环在”自主进化”与”忠实对齐”之间保持动态平衡。

与现有工作的关键区别：

Self-Guide 让策略和奖励自然共进化，但缺乏漂移检测机制。REWARD-GUARD 在共进化循环中引入漂移诊断层，当检测到奖励与外部锚点偏离时触发校准。
SEARL 通过结构化记忆实现奖励稠密化，但记忆中的奖励值可能随策略变化而过时。REWARD-GUARD 对记忆中的奖励值进行周期性锚定校准，防止”锚点遗忘”。
CoEvolve 实现智能体-数据互进化，但未监控内部奖励对数据分布的影响。REWARD-GUARD 追踪奖励偏倚对数据采样的影响，在分布坍缩前进行干预。

框架的三阶段工作流如下：

阶段一：漂移诊断（Rift Detection）——在共进化训练的每个检查点，对比内奖励模型与外部可验证信号的评分一致性，识别三类漂移模式及其严重程度。

阶段二：锚定校准（Grounded Calibration）——当漂移超过阈值时，利用外部可验证信号（测试执行结果、环境反馈、形式化验证）作为锚点，对内奖励模型进行局部校准，而非完全重置（保留已学习的合理奖励结构）。

阶段三：平衡采样（Balanced Co-Evolution）——基于漂移诊断结果，调整策略优化与奖励校准的相对强度，确保共进化不会偏向”容易满足的奖励”方向。

技术路线

步骤一：内奖励漂移的形式化定义与检测

漂移度量设计：定义三种漂移指标：

自洽漂移度 D_sc：衡量内奖励与外部可验证奖励在相同轨迹上的排名相关性衰减。具体地，在检查点 t，采样一批轨迹 T，计算内奖励 r_int 和外部奖励 r_ext 的 Spearman 排名相关 ρ(t)，则 D_sc(t) = ρ(t_0) - ρ(t)，其中 t_0 为初始校准点。
锚点遗忘度 D_af：在工具图记忆（SEARL 式）或经验缓冲区中，追踪早期被外部信号确认的高置信奖励条目，衡量其在后续训练中的值偏移量。D_af = E[|r_int(h) - r_ext(h)|] / |r_ext(h)|，其中 h 为历史锚定条目。
分布坍缩度 D_dc：衡量内奖励引导的数据采样分布与均匀探索分布的 KL 散度变化率。D_dc = KL(p_t(data) || p_uniform) - KL(p_{t-k}(data) || p_uniform)，当 D_dc 持续增大时表示分布坍缩。

检测算法：在每个训练检查点运行漂移诊断，输出漂移向量 d = (D_sc, D_af, D_dc) 和综合漂移分数 D_total = w_sc · D_sc + w_af · D_af + w_dc · D_dc。

步骤二：锚定校准机制

锚点选择：从三类外部可验证信号中选取锚点：

执行锚点：代码生成中的单元测试通过率（可自动验证）
环境锚点：工具调用后的环境状态变化（可确定性验证）
形式化锚点：数学推理中的形式化证明验证（如 Lean/Isabelle）

局部校准策略：不重置内奖励模型，而是通过添加校准残差项进行局部修正：

r_calibrated(s, a) = r_int(s, a) + λ_anchor · (r_ext(s, a) - r_int(s, a))

其中 λ_anchor 由漂移程度自适应控制：当 D_total 超过阈值 θ_drift 时，λ_anchor = min(1, D_total / θ_max)，确保校准强度与漂移严重程度成比例。

记忆锚定更新：对 SEARL 式工具图记忆中的奖励值，基于锚定校准结果进行回顾性修正，防止”锚点遗忘”的累积效应。

步骤三：平衡共进化训练

双目标优化：在 GRPO 训练中引入奖励忠实性正则项：

L_total = L_policy + α · L_fidelity

其中 L_fidelity = E_{τ ~ π}[D_KL(r_int(τ) || r_ext(τ))]，鼓励内奖励与外部信号保持一致。

自适应强度调节：根据漂移诊断结果动态调整 α：

D_total < θ_low：α 保持较小值，允许共进化自由进行
θ_low ≤ D_total < θ_high：α 线性增大，增强忠实性约束
D_total ≥ θ_high：触发锚定校准，暂时冻结内奖励模型更新

步骤四：实验验证

基准任务：

代码生成：MBPP、HumanEval+、LiveCodeBench，利用测试通过率作为执行锚点
工具使用：ToolBench、API-Bank，利用环境状态反馈作为环境锚点
数学推理：MATH、MiniF2F，利用形式化验证作为形式化锚点

对比基线：

Self-Guide（2604.03098）：无漂移检测的纯共进化
SEARL（2604.07791）：结构化记忆但不校准
外部 ORM/PRM 作为奖励模型：无共进化
纯外部奖励 GRPO：无内奖励

关键评估指标：

任务性能（Pass@1、Success Rate）
奖励忠实性：内奖励与外部信号的相关性随训练步数的变化曲线
漂移恢复速度：触发校准后恢复到忠实状态所需的训练步数
采样多样性：数据分布的有效覆盖度

关键技术挑战

外部锚点的稀疏性：并非所有步骤都有可验证的外部信号，如何在不完整锚点下进行有效校准是核心挑战。我们计划通过沿轨迹的奖励传播（类似 SEARL 的工具图）和基于不确定性的锚点插值来缓解。
校准与进化的矛盾：过强的校准会抑制内奖励的自主进化能力（使其退化为外部奖励的简单复制），过弱的校准又无法阻止漂移。需要在理论层面分析校准强度的最优平衡点。
漂移诊断的计算开销：每个检查点运行完整诊断可能显著增加训练成本。需要设计轻量级诊断代理指标，以及自适应的诊断频率策略。
多类型漂移的交互效应：三种漂移模式可能相互加剧（如自洽漂移导致分布坍缩，分布坍缩加速锚点遗忘），需要研究其耦合动力学。

预期成果

定量目标

漂移检测灵敏度：在模拟注入漂移的实验中，REWARD-GUARD 能在漂移影响任务性能前 100-200 训练步内检测到 D_total 超过阈值，预警提前率 > 80%。
奖励忠实性保持：在 10K 步共进化训练后，内奖励与外部信号的排名相关性 ρ > 0.75（对比 Self-Guide 的 ρ ≈ 0.55-0.65）。
任务性能提升：在代码生成和工具使用基准上，相比纯共进化基线（Self-Guide），任务性能提升 3-8%；相比纯外部奖励基线，提升 5-12%（得益于内奖励提供的稠密信号）。
训练效率：锚定校准引入的额外计算开销不超过总训练成本的 15%。

定性目标

首次系统性定义内奖励漂移：建立策略-奖励共进化中奖励忠实性的理论框架，填补该方向的形式化空白。
漂移-校准的动力学分析：揭示三种漂移模式的耦合机制，为未来的自进化智能体设计提供理论指导。
实用化校准工具：提供即插即用的漂移诊断和锚定校准模块，可集成到现有的 Agentic RL 训练框架中。

可能的影响

本研究的核心贡献在于为自进化智能体引入”进化中的自省”能力。当前的自进化范式默认内部奖励会随策略改进而改进，但这一假设在长程训练中并不可靠。REWARD-GUARD 证明了持续监控和校准内奖励忠实性的必要性，这一洞见可能改变自进化智能体的训练范式——从”无约束共进化”转向”锚定共进化”（Anchored Co-Evolution）。