研究提案已修订

面向智能体强化学习的程序性可学习性感知训练数据工程：从信号增强盲区到程序性信息密度驱动的数据策展

将SEED/BPO/TRACE揭示的信号增强方法对轨迹程序性结构的隐含依赖建模为一等数据质量信号，通过程序性可学习性评分驱动训练轨迹的策展、合成与组织优化

2026年7月18日智能体训练数据程序性可学习性事后技能提取分支探索信用分配智能体RL 训练数据工程

背景与动机

问题：信号增强方法对轨迹程序性结构的隐含依赖

智能体强化学习（Agentic RL）正在经历从稀疏结果级监督到密集结构化监督的范式跃迁。2026 年 7 月中旬的三项独立工作从不同角度推动了这一跃迁：

SEED（arXiv:2607.14777）：将已完成的在策轨迹转化为事后技能（hindsight skills），并将技能诱导的概率偏移蒸馏为密集 token 级监督信号
BPO（arXiv:2607.14171）：利用沙箱的快照-恢复特性，在高熵决策点进行分支探索，从兄弟回报中计算低方差优势估计
TRACE（arXiv:2607.13988）：通过冻结参考模型的对数比率状态值，推导每动作密集信用分配，无需额外评论家训练

这三项工作各自解决了 Agentic RL 的一个核心瓶颈（事后技能提取 / 方差降低 / 密集信用分配），但它们共享一个未经验证的隐含假设：训练轨迹的程序性结构足以支撑其信号增强方法的有效运作。

三类程序性结构不足

我们识别出三类导致下游信号增强方法失效的程序性结构不足：

1. 技能稀疏性（Skill Sparsity）——SEED 的盲区

SEED 从已完成的轨迹中提取事后技能（可复用工作流 / 关键观察 / 失败规避规则），但并非所有轨迹都包含等量的可提取技能。一条遵循常规模式的轨迹（所有动作均为高概率选择）几乎不含可提取的技能知识，而一条经历决策分叉、失败恢复、或非显而易见捷径的轨迹则富含可提取技能。当训练数据池中技能稀疏轨迹占主导时，SEED 的事后技能分析器将产生大量平庸技能（trivial skills），其蒸馏信号反而引入噪声——技能增强上下文下的动作重评分与原始上下文下的差异微小，蒸馏信号信噪比极低。

2. 分支无效性（Branch Futility）——BPO 的盲区

BPO 在高熵位置进行分支探索，但 BPO 自身也承认”高熵不等于高决策价值”——这与 APPO（arXiv:2606.12384）的发现一致：token 熵峰值可能反映词汇稀有性而非决策重要性。更关键的是，即便在真正的决策点分支，如果轨迹的后续结构高度确定性（分支后的路径很快收敛到相同结果），分支产生的兄弟回报方差极小，优势估计的信息增益也极低。BPO 的方差降低理论上界（prefix-explained 方差占比）在程序性结构贫乏的轨迹上严重缩水。

3. 信用平坦性（Credit Flatness）——TRACE 的盲区

TRACE 通过对数比率状态值的时序差分推导每动作信用，但 TRACE 的信用信号质量高度依赖轨迹的程序性变化度。当所有轮次遵循相同模式（如重复查询→获取结果→整合）时，对数比率状态值在轮次间几乎不变，时序差分产生的信用信号趋近于零——信用平坦。这种情况下，TRACE 退化为结果级奖励的均匀分配，丧失了密集信用分配的核心优势。STAMP（arXiv:2607.11172）在深度搜索智能体中也观察到了类似现象：并非所有动作对最终结果有差异化贡献。

现有方案的不足

方法	解决的问题	未解决的问题
SEED（2607.14777）	稀疏奖励→密集事后技能蒸馏	假设所有轨迹技能密度均等，未区分技能丰富/稀疏轨迹
BPO（2607.14171）	独立采样→共享前缀分支	分支点选择仅基于熵，未考虑分支后的程序性信息价值
TRACE（2607.13988）	结果级信用→轮次级信用	信用信号质量依赖轨迹程序性变化度，在模式重复轨迹上退化为平坦信号
PMD（2607.01480）	逐回合学习→跨回合程序性记忆	记忆构建依赖轨迹的程序性抽象潜力，未优化轨迹的程序性复杂度
SAO（2607.07508）	组采样→单 rollout 异步优化	单 rollout 的梯度方差更高，未考虑如何选择信息密度最高的 rollout
Reward-Free Evolving（2607.14408）	标量奖励→成对验证器	验证器仍需轨迹间有可辨识的程序性差异才能做出有效判断

核心缺口：没有工作将轨迹的程序性可学习性——其支撑下游信号增强方法有效运作的结构属性——建模为一等数据质量信号，并从数据策展层面系统性提升训练轨迹的程序性信息密度。

核心思路

程序性可学习性的形式化

我们提出程序性可学习性（Procedural Learnability, PL）的概念：给定轨迹 τ 和信号增强方法族 M = {SEED, BPO, TRACE, PMD}，PL(τ) 衡量 τ 的程序性结构对 M 中方法产生有效信号的支持程度。

PL 由四个正交维度构成：

技能密度（Skill Density, SD）：τ 中可提取为事后技能的决策点占比。高 SD 意味着 SEED 可从 τ 中提取丰富的技能知识
分支信息值（Branch Information Value, BIV）：τ 中各决策点分支后产生的结果分散度。高 BIV 意味着 BPO 的分支探索可产生高方差的兄弟回报，从而获得低方差优势估计
信用分散度（Credit Dispersion, CD）：τ 中各轮次对最终结果的差异化贡献程度。高 CD 意味着 TRACE 的信用信号包含丰富的梯度信息
抽象潜力（Abstraction Potential, AP）：τ 中的程序性模式跨问题可迁移的程度。高 AP 意味着 PMD 可从 τ 中构建高质量的三层程序性记忆

PROC-LEARN 框架

PROC-LEARN（PROCedural Learnability-aware Engineering for Agent Network Data）框架将 PL 建模为训练数据策展的一等质量信号，通过三阶段流水线实现程序性信息密度驱动的数据工程：

阶段一：程序性可学习性画像（PL Profiling）

对训练数据池中的每条轨迹 τ，沿四个维度计算 PL 画像：

SD(τ)：用 SEED 风格的事后技能分析器对 τ 进行技能提取，计算可提取技能数 / 总决策点数
BIV(τ)：对 τ 中的高熵位置进行 k 次重采样，计算分支后的结果方差 / 全轨迹结果方差
CD(τ)：用 TRACE 的对数比率方法计算 τ 的轮次级信用，计算信用值的归一化熵
AP(τ)：提取 τ 的程序性模式，计算其在已有轨迹池中的结构相似度分布（低相似度 = 高抽象潜力）

阶段二：PL 感知数据策展（PL-Aware Curation）

基于 PL 画像进行四类策展操作：

PL 门控采样：优先采样高 PL 轨迹，低 PL 轨迹需通过补充策展才能进入训练池
技能密度增强合成：对低 SD 轨迹，注入决策分叉点（在关键步骤引入有意扰动），迫使其展现更丰富的技能结构
分支点信息价值优化：对低 BIV 轨迹，在程序性结构分析识别的关键决策点生成替代路径，构建伪分支结构
信用分散度提升合成：对低 CD 轨迹，设计”差异贡献”场景（不同轮次对结果有差异化影响），替换”均匀贡献”场景

阶段三：PL-能力共进化闭环（PL-Capability Co-evolution）

随着策略训练进展：

策略能力分布变化 → PL 的定义更新（当前策略已掌握的程序性模式不再提供新信息）
重新运行 PL 画像 → 识别新的程序性学习需求
PL 驱动的定向合成 → 新一轮训练数据
迭代直至 PL 分布收敛（所有轨迹在当前策略下均具有足够高的 PL）

与现有工作的关键区别

从信号增强到数据工程：SEED/BPO/TRACE/PMD 各自在算法层面增强训练信号，PROC-LEARN 在数据工程层面确保轨迹具备支撑信号增强的程序性结构——从”给什么数据就用什么数据”到”策展程序性信息密度最优的数据”
从单一质量维度到多维程序性画像：现有数据质量度量（通过率/奖励值/困惑度）均为标量，PROC-LEARN 的四维 PL 画像捕捉了轨迹对多种信号增强方法的适配性
从离线质量评估到在线共进化：PL 随策略演化而动态更新——在训练初期有价值的程序性结构（如基础工具调用模式），在训练后期可能变为冗余，PL 的动态调整避免了”过时高质量数据”的陷阱

技术路线

Step 1：程序性可学习性画像器

1.1 技能密度（SD）估计

对轨迹 τ，运行轻量级事后技能分析器（与 SEED 的技能提取模块共享架构但独立运行），提取自然语言技能列表 S(τ) = {s₁, s₂, …, s_m}。定义：

SD(τ) = m / |D(τ)|

其中 |D(τ)| 为 τ 中的决策点总数（工具调用 / 路径分叉 / 策略切换点）。SD > θ_SD 的轨迹视为技能丰富，适合 SEED 的事后技能蒸馏。

轻量级技能分析器的关键设计：不运行完整 RL 训练，仅执行 SEED 的技能提取步骤（单次前向传播），以控制计算开销。

1.2 分支信息值（BIV）估计

对轨迹 τ 中的每个候选分支点 p，执行 BPO 风格的 k 路分支探索（k=3~5），收集兄弟回报 {R₁, R₂, …, R_k}。定义：

BIV(τ) = (1/|P(τ)|) Σ_{p ∈ P(τ)} Var({R_i}) / Var({R_full})

其中 P(τ) 为候选分支点集合，Var({R_full}) 为完整轨迹结果方差。BIV > θ_BIV 的轨迹视为分支信息丰富，适合 BPO 的树结构探索。

关键优化：利用 BPO 的沙箱快照机制，分支探索可复用前缀计算，实际开销为完整 rollout 的 1/k。

1.3 信用分散度（CD）估计

对轨迹 τ，运行 TRACE 的对数比率信用分配，获得轮次级信用向量 C(τ) = {c₁, c₂, …, c_T}。定义：

CD(τ) = H(C̃(τ)) / log(T)

其中 H 为信息熵，C̃ 为归一化信用向量（c̃_t = |c_t| / Σ|c_t|），log(T) 为最大可能熵。CD 接近 1 意味着信用均匀分散（每轮次贡献相当），CD 接近 0 意味着信用集中在少数轮次。

信息性信用分散度：需区分”均匀分散”（每轮次贡献相等 = 无信息）与”分散但非均匀”（各轮次贡献不同但分散 = 高信息）。定义修正版：

CD*(τ) = H(C̃(τ)) · (1 - uniformity(C̃(τ)))

其中 uniformity 度量信用向量与均匀向量的相似度。CD* 高意味着信用既分散又差异化——这正是 TRACE 最有效运作的条件。

1.4 抽象潜力（AP）估计

提取轨迹 τ 的程序性骨架 P(τ)（去除具体内容，保留决策结构和工具调用序列），计算其在已有轨迹池中的结构相似度分布：

AP(τ) = 1 - max_{τ’ ∈ pool} sim(P(τ), P(τ’))

高 AP 意味着 τ 包含池中罕见的程序性模式，对 PMD 的跨回合记忆构建有高贡献。低 AP 意味着 τ 的程序性模式已被充分覆盖。

1.5 PL 融合评分

PL(τ) = w₁ · σ(SD(τ)) + w₂ · σ(BIV(τ)) + w₃ · σ(CD*(τ)) + w₄ · σ(AP(τ))

参数 w₁, w₂, w₃, w₄ 通过在验证集上的消融实验确定（各维度的边际贡献）。

Step 2：PL 感知数据策展

2.1 PL 门控采样

训练数据采样概率正比于 PL(τ)：

P(τ) ∝ PL(τ)^α

α > 1 强调高 PL 轨迹，α < 1 平滑 PL 差异。在训练初期（策略能力低，所有程序性模式均为新信息），设置 α ≈ 0（近似均匀采样）；在训练后期（策略已掌握基础模式），设置 α ≈ 2（强调高 PL 新模式）。

2.2 技能密度增强合成

对低 SD 轨迹（SD < θ_SD），在关键决策点注入有意扰动：

反事实决策注入：将高概率动作替换为合理但非最优的替代动作，迫使轨迹展现失败-恢复模式（增加可提取的失败规避技能）
多策略混合：在同一任务上用不同策略风格（保守/激进/探索性）生成替代片段，拼接为多策略轨迹（增加可提取的工作流多样性技能）

2.3 分支点信息价值优化

对低 BIV 轨迹（BIV < θ_BIV），在程序性结构分析识别的关键决策点生成替代路径：

利用沙箱快照机制，在 BPO 识别的候选分支点进行深度分支探索
如果分支后结果方差仍然低（分支无效），识别更早的决策点进行分支
构建伪分支结构：将分支探索产生的多条子轨迹作为独立训练样本，但在 PL 画像中标记其共享前缀关系

2.4 信用分散度提升合成

对低 CD* 轨迹，设计”差异贡献”场景替换：

关键轮次替换：将轨迹中贡献均匀的轮次替换为对最终结果有差异化影响的场景变体
延迟效应注入：在早期轮次引入对后期轮次有级联影响的决策（增加早期轮次的信用权重），避免信用过度集中在最后几轮

Step 3：PL-能力共进化闭环

3.1 PL 动态更新机制

随着策略 π_θ 的训练进展，PL 的定义需要更新：

SD 更新：策略已掌握的技能不再计入 SD——如果 SEED 提取的技能 s_i 在策略当前行为中已以高概率体现，则 s_i 不再贡献 SD
BIV 更新：策略已收敛的分支点不再贡献 BIV——如果策略在分支点 p 的动作选择已高度确定性（熵 < ε），则 p 不再贡献 BIV
CD 更新：策略已学会均匀分配信用的场景不再需要高 CD 数据——如果 TRACE 在当前策略下对某类轨迹的信用分配已非均匀分散，则新数据可降低 CD 要求
AP 更新：已充分覆盖的程序性模式不再计入 AP——随着轨迹池增长，新的 AP 仅来自池中尚未覆盖的程序性模式

3.2 PL 约束的数据混合

在每轮训练数据准备中，求解 PL 约束的数据混合优化：

max_{mix} Σ_d PL(d) · weight(d) s.t. SD_mean(mix) ≥ θ_SD_min BIV_mean(mix) ≥ θ_BIV_min CD*_mean(mix) ≥ θ_CD_min AP_mean(mix) ≥ θ_AP_min

下界阈值随策略能力动态调整——策略越强，阈值越高（需要更高 PL 的新数据才能提供有效训练信号）。

3.3 与 SAO 异步训练的整合

SAO（arXiv:2607.07508）的单 rollout 异步优化框架与 PROC-LEARN 天然互补：

SAO 的核心挑战是单 rollout 的梯度方差更高，PROC-LEARN 的 PL 门控采样确保每个 rollout 的程序性信息密度最大化，降低方差
SAO 的 skip-observation GAE 估计器需要动作-动作边界的信用信号，PROC-LEARN 的高 CD* 数据确保信用信号的信息性
整合方式：在 SAO 的 rollout 生成阶段注入 PL 门控，优先为高 PL 的 prompt 生成 rollout

3.4 与 Non-vacuous RLVR Bounds 的理论连接

Zhu et al.（arXiv:2607.14506）建立了 RLVR 微调的非空 PAC-Bayes 泛化界。PROC-LEARN 的 PL 约束数据策展可收紧这些泛化界——直觉上，高 PL 数据意味着每个训练样本携带更多有效信息，从而在相同样本量下产生更紧的压缩界。形式化地，我们期望证明：

若训练数据集 D 满足 PL(D) ≥ θ_PL，则 PAC-Bayes 界中的 KL 散度项可收紧为 f(θ_PL) · KL(π_θ || π_0)，其中 f(θ_PL) < 1 为 PL 的单调递减函数。

关键技术挑战

PL 估计的计算开销：SD/BIV/CD 三个维度分别需要技能分析器前向传播、分支探索 rollout、TRACE 信用计算，三者叠加可能显著增加数据准备成本。需要设计轻量级代理指标（如用轨迹内部熵变化模式预测 SD，用单次分支预测 BIV）
四维 PL 的权重确定：w₁, w₂, w₃, w₄ 的选择需要大量消融实验，且可能任务依赖。初步策略：用信息增益作为权重自适应调整的依据
PL-能力共进化的收敛性：PL 下界阈值随策略能力的提升可能发散（策略越强，需要越高 PL 的新数据），需要设计自适应阈值调度器，在训练后期适当放松 PL 约束以避免数据匮乏
PL 增强合成的保真性：注入扰动/替换轮次可能产生不真实的轨迹，需要验证合成轨迹的环境可执行性和语义连贯性

预期成果

定量目标

PL 画像准确性：SD/BIV/CD*/AP 四维 PL 画像与下游信号增强方法实际效果的 Pearson 相关系数 ≥ 0.70
信号增强效果提升：与标准 SEED/BPO/TRACE 训练相比，在 PL 门控采样下：
- SEED 的技能蒸馏信号信噪比提升 ≥ 30%
- BPO 的梯度方差降低额外 ≥ 20%（在 BPO 已有方差降低基础上）
- TRACE 的信用信号信息熵提升 ≥ 25%
端到端性能提升：在 WebShop / ALFWorld / SWE-Bench Verified 上：
- 与基线 SEED 训练相比，成功率提升 ≥ 3 个百分点
- 与基线 BPO 训练相比，成功率提升 ≥ 2 个百分点
- 与 SEED+BPO 联合训练相比，成功率提升 ≥ 1.5 个百分点
数据效率：达到相同性能所需的训练轨迹数量减少 ≥ 25%

定性目标

建立程序性可学习性作为 Agentic RL 训练数据的一等质量维度理论框架
形式化技能密度/分支信息值/信用分散度/抽象潜力四个正交维度的定义与度量方法
打通 SEED/BPO/TRACE/PMD 四项独立算法进展的统一数据工程接口
为 Agentic RL 训练数据策展提供 PL 审计工具（四维 PL 热力图可视化）

可能的影响

对 Agentic RL 范式的修正：当前 SEED/BPO/TRACE 各自假设训练数据的程序性结构已足够丰富，PROC-LEARN 揭示了这一假设的脆弱性，并为”何种程序性结构使信号增强方法有效”提供了原则性回答
对数据合成范式的提升：NexForge 等需求优先合成框架优化任务级分布匹配，PROC-LEARN 进一步优化轨迹级程序性信息密度，将数据质量粒度从”合成什么任务”下推至”合成什么程序性结构”
对 RLVR 理论的贡献：若 PL 约束确实收紧泛化界，将为”训练数据的程序性结构如何影响泛化”提供新的理论工具