研究提案已修订

面向自进化智能体训练的过程奖励引导步骤级环境合成：从结果盲合成到步骤感知的难度校准

将无监督过程奖励引入自进化环境合成循环，通过步骤级难度剖析实现精确锚定智能体能力前沿的环境构建

2026年5月19日过程奖励环境合成步骤级难度自进化训练信用分配 RLVR 数据工程智能体推理

背景与动机

自进化推理强化学习正在经历从”数据生成循环”到”环境构建循环”的范式跃迁。EvoEnv（Shi et al., 2026）揭示了一个关键洞见：可持续的自改进不应依赖于生成更多合成数据，而应让模型学会构建训练自己的环境——每个产物是可复用的可执行对象，能够采样实例、计算参考解并为回应评分。与此同时，D²Evo（Zhang et al., 2026）指出有效RL训练需要中等难度的样本，但面临有效数据稀缺（Effective Data Scarcity）和动态难度漂移（Dynamic Difficulty Shifts）双重挑战。SEIF（Ren et al., 2026）则展示了指令-能力共进化的可行性，但揭示了后期过度训练导致性能退化的风险。

然而，当前所有自进化训练框架共享一个根本性盲点：它们仅使用结果级（outcome-level）反馈来校准难度和生成训练数据。这种结果级反馈无法区分”智能体在第2步失败、从未到达第5步”与”智能体正确完成了第1-4步、但在第5步失败”——两者获得相同的负反馈信号。这导致三个系统性问题：

问题一：难度误归因。 当环境被标记为”太难”时，可能仅有一个子步骤超出智能体能力，而其余子步骤已在掌握之中。结果级反馈无法区分这两种情况，导致整个环境被丢弃或降低优先级，已掌握的子步骤训练信号被浪费。

问题二：前沿盲区。 自进化训练的核心价值在于持续精确锚定智能体的能力前沿（capability frontier）。但结果级反馈将前沿定位在”整个环境”级别，而非”步骤”级别。这导致环境合成无法精确打击智能体最薄弱的推理环节，合成资源被分散到对智能体已无挑战的子步骤上。

问题三：共进化效率瓶颈。 D²Evo通过双难度感知缓解了有效数据稀缺问题，但其难度校准仍然在结果粒度上运行。当智能体能力提升导致动态难度漂移时，结果级校准只能判断”环境变简单了”，却无法识别”哪些步骤变简单了、哪些步骤仍然困难”，导致再合成策略粗放且计算浪费。

与此同时，过程奖励模型（PRM）领域取得了关键突破：uPRM（Gadetsky et al., 2026）证明无需任何人类标注或最终答案验证，仅利用LLM下一token概率即可训练有效的过程奖励模型——在ProcessBench上首次误步识别准确率超过LLM-as-a-Judge达15%，作为验证器时媲美监督PRM。VPR（Yuan et al., 2026）则在智能体推理中展示了可验证过程奖励的威力：将符号或算法预言机转化为密集的回合级监督，显著改善了长程信用分配。

核心机遇： 将uPRM的无监督过程奖励信号引入自进化环境合成循环，使难度校准从结果级提升至步骤级，实现精确锚定步骤级能力前沿的环境构建。

核心思路

我们提出 PRISM（Process Reward-Informed Step-level Mastery）框架，将无监督过程奖励作为自进化环境合成的步骤级难度信号源，实现从”结果盲合成”到”步骤感知难度校准”的范式升级。

与现有工作的关键区别：

vs. EvoEnv：EvoEnv的验证是结果级的——环境是否被正确求解。PRISM在环境合成循环中引入步骤级过程奖励，使合成不仅关注”是否可解”，更关注”哪些步骤构成了能力瓶颈”。
vs. D²Evo：D²Evo的双难度感知在题目级粒度运行——Questioner生成适当难度的题目。PRISM将难度感知下沉至步骤级，实现更细粒度的难度锚定和再合成。
vs. uPRM/VPR：uPRM和VPR将过程奖励用于推理时的验证或训练时的信用分配。PRISM将过程奖励前馈至数据生成循环，使过程奖励不仅指导”如何评估”，更指导”如何构建训练环境”。

PRISM的三阶段闭环：

步骤级难度剖析（Step-Level Difficulty Profiling）：对智能体在当前环境上的轨迹运行uPRM评分，生成步骤级难度剖面（difficulty profile），精确标识每个子步骤的掌握程度。
过程奖励引导的环境合成（PR-Guided Environment Synthesis）：基于步骤级难度剖面，环境合成器定向生成”钉住”智能体薄弱步骤的新环境——保留已掌握步骤的变体，精确替换薄弱步骤为新的挑战性子问题。
步骤级难度校准共进化（Step-Calibrated Co-Evolution）：步骤级难度剖面随智能体能力提升动态更新，驱动环境合成持续锚定步骤级前沿，形成”步骤感知”而非”结果感知”的共进化循环。

技术路线

阶段一：步骤级难度剖析器构建

1.1 轨迹分割与步骤边界识别

给定智能体在环境 $E$ 上的执行轨迹 $\tau = (s_1, a_1, s_2, a_2, \ldots, s_T)$ ，首先将轨迹分割为语义步骤。借鉴uPRM的批量联合评估思想，我们利用LLM下一token概率定义步骤边界置信度：

$C_{\text{boundary}}(t) = -\frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \log P(a_t^{(i)} | s_{<t}, a_{<t}^{(i)})$

步骤边界定义为置信度局部极小值，将轨迹分割为 $K$ 个语义步骤 $\{\sigma_k\}_{k=1}^K$ 。

1.2 无监督步骤级奖励估计

在每个语义步骤 $\sigma_k$ 上，利用uPRM的联合评分函数计算步骤级过程奖励：

$r_k^{\text{process}} = \text{uPRM}(\sigma_k | \sigma_{<k}, E)$

与uPRM原始的”首个误步”检测不同，我们对每个步骤独立评估，构建完整的步骤级难度剖面：

$\mathbf{d}(E) = (d_1, d_2, \ldots, d_K), \quad d_k = 1 - r_k^{\text{process}}$

1.3 步骤级难度验证

为验证无监督步骤级奖励的可靠性，引入两重校验：

自洽性校验：对同一环境多次采样，检查步骤级难度剖面的一致性（Kendall’s $\tau$ ）
反事实校验：对低难度步骤施加扰动（如替换子目标），验证难度变化方向符合预期

阶段二：过程奖励引导的环境合成

2.1 步骤级难度锚定的环境模板提取

从步骤级难度剖面 $\mathbf{d}(E)$ 中，识别前沿步骤（frontier steps）——难度在 $[0.4, 0.7]$ 区间的步骤，即智能体尚在学习但非完全无法处理的步骤。提取环境模板，将前沿步骤标记为合成目标。

2.2 针对性子步骤替换合成

对环境模板中的前沿步骤，设计步骤级替换策略：

约束变异：保持已掌握步骤（ $d_k < 0.3$ ）的约束条件不变，仅替换前沿步骤的子目标或推理路径
难度桥接：在相邻步骤间插入过渡性子步骤，降低步骤间难度跳变
对抗性增强：对高难度步骤（ $d_k > 0.7$ ）进行分解，生成可逐步提升的难度梯度

2.3 合成环境的步骤级质量保证

每个合成环境 $E'$ 必须通过步骤级质量关卡：

完整性： $E'$ 的步骤级难度剖面覆盖前沿步骤区域
多样性： $E'$ 与现有环境库在步骤级难度空间中保持最小余弦距离
可验证性： $E'$ 的预言机仍可正确评分（继承EvoEnv的验证框架）

阶段三：步骤级难度校准共进化

3.1 动态难度剖面更新

随着智能体在训练中提升能力，步骤级难度剖面需持续更新。设计增量式uPRM评估：

每个训练epoch结束后，对最近采样轨迹重新运行步骤级难度剖析
使用指数移动平均（EMA）更新难度剖面： $\mathbf{d}^{(t+1)} = \alpha \cdot \mathbf{d}^{(t)} + (1-\alpha) \cdot \mathbf{d}_{\text{fresh}}$

3.2 步骤级课程调度

基于动态难度剖面，构建步骤级课程：

步骤级采样权重：环境采样概率与其包含的前沿步骤数成正比
难度进度门控：当某步骤的难度降至0.3以下时，降低包含该步骤的环境的采样权重
新前沿发现：当已掌握步骤的组合产生新的失败模式时，自动发现新的前沿步骤

3.3 污染抵抗机制

借鉴NOVA的污染陷阱理论，在步骤级设计防护：

步骤级假阳性估计：对每个步骤的过程奖励估计假阳性率
渐进式收紧：随着训练轮次增加，步骤级验证阈值动态提高
步骤级退化检测：监控已掌握步骤的难度是否异常上升（退化信号），触发重新校准

关键技术挑战

挑战一：uPRM在智能体轨迹上的步骤级校准稳定性。 uPRM原始设计针对数学推理的链式步骤，而智能体轨迹包含工具调用、环境交互等异构步骤。需要在步骤分割时显式建模步骤类型，确保不同类型步骤的过程奖励可比。

挑战二：步骤级替换的语义一致性保证。 替换前沿步骤时，新步骤必须与前后步骤在语义上连贯，否则生成的环境可能退化为不合理的子任务拼接。需要引入语义连贯性验证作为合成的必要关卡。

挑战三：步骤级难度空间的维度诅咒。 随着步骤数增加，难度剖面的维度增长使多样性保证和课程调度复杂化。需要对难度剖面进行降维（如主成分分析或步骤聚类），在低维空间中进行环境调度。

挑战四：步骤级验证的计算开销。 对每个环境的所有步骤运行uPRM评估的计算成本。需要设计缓存机制（相似步骤共享评分）和选择性评估策略（仅评估前沿步骤区域）。

预期成果

定量目标

步骤级难度剖析精度：在ProcessBench和VPR的评估环境中，步骤级难度剖面与人工标注的步骤级正确性标签的Spearman相关系数达到0.75以上（对比结果级难度判断的0.45基线）
环境合成效率：在相同计算预算下，PRISM生成的环境库在步骤级覆盖率上比EvoEnv的结果级合成提升40%，即更少的环境即可覆盖相同数量的前沿步骤
训练收敛速度：在Qwen3-4B上，PRISM在数学推理基准（MATH-500、AIME24）上比D²Evo的Pass@1提升2-4个百分点，训练步数减少30%
智能体推理任务：在VPR的三个验证环境（搜索验证、约束验证、后验验证）上，PRISM训练的智能体比VPR结果级奖励训练的智能体在长程信用分配准确率上提升15%

定性目标

难度剖析可解释性：步骤级难度剖面为训练者提供细粒度的能力诊断，可精确回答”智能体在哪一步最容易失败”
合成环境可审查性：每个合成环境附带步骤级标注，标注哪些步骤是前沿步骤、为何被选择、难度预期是多少
共进化稳定性：通过污染抵抗机制和步骤级退化检测，确保自进化循环在50轮以上不出现性能退化

可能的影响

数据工程范式的步骤级转向：从”结果级数据策展”到”步骤级数据策展”的范式变革，使训练数据工程从粗粒度的难度筛选升级为精细化的步骤级诊断与合成
无监督过程奖励的闭环应用：首次将uPRM从评估工具升级为训练数据生成的驱动信号，开辟”过程奖励驱动数据飞轮”新范式
自进化训练的可持续性保障：步骤级污染抵抗和退化检测为自进化训练的长期稳定性提供系统性保障，降低”自进化崩塌”风险