面向智能体RL训练的转移感知训练数据工程：从环境动态盲策展到转移信息密度驱动的数据策展

背景与动机

智能体强化学习（Agent RL）正成为 LLM 后训练的核心范式，但训练数据的策展仍主要围绕任务难度和结果正确性展开，忽略了训练轨迹中环境转移动态的信息结构。2026 年 7 月 30 日，三篇独立论文从不同角度揭示了同一根本问题：

TAPO（arXiv:2607.27973）证明多步目标导向任务中的泛化能力取决于模型对环境后果的预测知识，通过在策略优化中添加动作条件下一观测预测监督，在 WebShop 和 ALFWorld 上持续提升性能。OVCSD（arXiv:2607.27937）揭示传统自蒸馏（OPSD）中的教师信号未经验证——教师偏好并不一定得到环境结果的验证，提出结果验证的比较自蒸馏，在 ALFWorld 上实现 29.7% 绝对增益。CRPO（arXiv:2607.28026）发现 OPSD 的暴露偏差在多轮场景中导致推理路径收敛，利用预测熵区分反思性探索与暴露偏差进行组级对比，在 13 个推理基准上持续超越现有基线。

三项工作共同指向一个关键洞察：环境转移动态的学习质量决定了智能体的泛化上限。然而，它们均从算法层面入手——TAPO 增加辅助损失、OVCSD 改进教师信号、CRPO 改进优势估计——而忽略了更上游的问题：训练数据本身是否为学习环境转移动态提供了足够的信息密度？

当前训练数据策展的根本缺陷在于环境动态盲性：

1. 转移信息密度不均：训练轨迹中大量转移是平凡可预测的（如 ls 命令始终返回文件列表），少数转移承载了关键的环境状态变化信息（如特定 API 调用揭示隐藏系统状态），但数据策展对二者一视同仁
2. 转移覆盖偏差：任务驱动的轨迹收集自然偏向常见转移模式，罕见但信息密集的转移（如错误恢复路径、边界条件触发）在训练数据中系统性欠表示
3. 转移一致性缺失：LLM 作为世界模型生成的合成轨迹中，转移的一致性无法保证——相似状态-动作对可能产生矛盾的状态转移，但当前策展流程缺乏转移一致性验证机制

核心思路

提出 TRANS-AWARE（Transition-Aware Training Data Engineering）框架，将环境转移动态的信息密度建模为一等训练数据质量信号。核心主张：智能体训练数据的质量不应仅由任务难度和结果正确性衡量，还应由转移信息密度（Transition Information Density, TID）衡量——训练轨迹中每一步状态转移为学习环境动态模型提供了多少不可替代的信息。

与现有工作的关键区别：

维度	TAPO/OVCSD/CRPO	TRANS-AWARE
介入层面	算法（损失函数/优势估计）	数据工程（策展/合成/组织）
质量信号	任务级（正确性/奖励）	转移级（TID/TPG/TCS）
动态学习	隐式（策略梯度间接学习）	显式（数据策展主动保障）
演化性	策略演化	策略-转移模型共演化

核心创新点：引入转移信息密度（TID）作为数据质量信号，定义三维转移画像——转移预测差距（TPG）、转移一致性分数（TCS）和转移稀有度（TR），驱动数据策展从”环境动态盲”转向”转移信息密度驱动”。

技术路线

阶段一：转移信息密度诊断

1.1 转移预测差距（Transition Predictability Gap, TPG）估计

对于训练轨迹中的每一步转移 $(s_t, a_t) \rightarrow s_{t+1}$，使用当前策略模型的转移预测能力估计 TPG：

$\text{TPG}(s_t, a_t) = D_{\text{KL}}(p_\theta(\cdot|s_t, a_t) \| \hat{p}(\cdot|s_t, a_t))$

其中 $p_\theta$ 是模型的转移预测分布，$\hat{p}$ 是实际观测到的转移分布。高 TPG 意味着模型尚未学会该转移模式——正是训练数据中信息密度最高的部分。

技术挑战：LLM 的观测空间是文本而非向量，需要设计文本级转移距离度量。参考 TAPO 的动作条件下一观测预测框架，使用 token 级交叉熵作为 TPG 的代理度量。

1.2 转移一致性分数（Transition Consistency Score, TCS）估计

对于相似的状态-动作对 $(s, a) \approx (s', a')$，多次采样观测到的转移应一致。TCS 衡量转移的一致性：

$\text{TCS}(s, a) = \mathbb{E}_{(s',a') \sim \mathcal{N}(s,a)} [\text{Sim}(\tau(s,a), \tau(s',a'))]$

低 TCS 标识转移不一致区域——可能来自 LLM 世界模型幻觉或环境非确定性。借鉴 OVCSD 的结果验证思想，TCS 可通过多次执行（真实环境）或多次模拟（LLM 世界模型）估计。

1.3 转移稀有度（Transition Rarity, TR）估计

TR 衡量某类转移在训练数据中的相对频率的逆：

$\text{TR}(s_t, a_t) = -\log \frac{|\{(s',a') : (s',a') \sim (s_t, a_t)\}|}{|\mathcal{D}|}$

高 TR 标识罕见转移——可能是边界条件、错误恢复路径等关键场景。

1.4 综合转移画像

定义转移信息密度（TID）为三者的调和平均：

$\text{TID}(s_t, a_t) = \frac{3}{\frac{1}{\text{TPG}} + \frac{1}{\text{TCS}'} + \frac{1}{\text{TR}}}$

其中 $\text{TCS}' = 1 - \text{TCS}$（一致性低 → 信息密度高，因为不一致的转移需要更多数据来消除歧义）。

阶段二：转移感知数据策展

2.1 TID 门控采样

训练轨迹的采样概率与 TID 成正比：

$P(\tau) \propto \sum_{t=1}^{T} \text{TID}(s_t, a_t)$

高 TID 轨迹被优先采样，低 TID 的平凡轨迹被降权。此机制直接解决转移信息密度不均问题。

2.2 转移定向合成

针对诊断中发现的 TID 高但覆盖不足的转移类型，定向合成训练数据：

• 高 TPG 合成：对模型预测最差的转移类型，通过环境交互或 LLM 世界模型生成更多该类型转移的训练轨迹
• 低 TCS 合成：对转移不一致区域，生成多次独立执行结果，为模型提供消除歧义所需的多视角数据
• 高 TR 合成：对罕见转移，通过反事实状态构建（如注入特定错误状态）主动生成该类转移

技术挑战：高 TPG 区域的合成需要模型尚不掌握的知识，存在合成质量保障问题。解决方案：对真实环境使用 OVCSD 的结果验证机制；对 LLM 世界模型使用 TCS 门控（仅保留高一致性合成）。

2.3 转移结构感知批次构建

批次内训练样本的转移类型应保持多样性，避免同质化。基于转移类型聚类，每个批次从不同聚类中等量采样，确保梯度更新同时覆盖高/低 TPG、高/低 TCS、高/低 TR 的转移类型。

阶段三：转移-能力共进化闭环

3.1 TID 动态更新

随着策略模型和转移模型的改进，TPG 会下降（模型学会了之前的困难转移），TCS 会上升（不一致性被消除）。TID 需要周期性重新计算以反映当前模型能力。

3.2 转移前沿追踪

追踪 TID 最高的转移类型集合——“转移前沿”。当前沿收缩（模型学会了更多转移）时，合成系统应主动探索新的高 TID 转移区域，参考 CRPO 的预测熵机制识别新的暴露偏差区域。

3.3 转移-策略双向增强

TAPO 证明转移学习帮助策略优化。TRANS-AWARE 进一步建立双向增强：策略优化产生的轨迹为转移模型提供训练数据，转移模型改进后的 TID 画像驱动更高质量的数据策展，形成正反馈循环。

关键技术挑战

1. 文本级转移距离度量：LLM 智能体的观测是文本序列，无法直接使用向量空间的 KL 散度。需要设计语义级转移距离，可能的方案包括 token 级交叉熵、嵌入空间距离、或结构化观测的编辑距离
2. 转移一致性估计的计算代价：TCS 需要多次执行/模拟同一转移，在真实环境中代价高昂。可通过 LLM 世界模型近似 + 少量真实执行校准降低代价
3. TID 的校准：TPG/TCS/TR 三维画像需要归一化至可比尺度，且不同任务域的转移信息密度分布可能差异巨大，需要域自适应的校准策略

预期成果

定量目标

1. 转移预测准确率提升：在 TAPO 的基准（WebShop/ALFWorld）上，使用 TRANS-AWARE 策展的训练数据相比均匀采样基线，转移预测准确率（next-observation prediction）提升 15-25%
2. 策略性能提升：同等训练计算预算下，TRANS-AWARE 策展数据训练的智能体 Pass@1 提升 5-10 个百分点，接近 TAPO+OVCSD 组合算法的效果，但从数据侧实现
3. 数据效率提升：达到同等策略性能所需训练轨迹数量减少 30-50%，因为高 TID 轨迹的信息密度更高
4. 跨域迁移：在一组 API 环境上计算的 TID 画像可部分迁移至新 API 环境（至少 60% 的高 TID 转移类型在新环境中仍为高 TID）

定性目标

1. 建立”转移信息密度”作为智能体训练数据质量的标准化度量，填补任务级质量信号与 token 级质量信号之间的粒度空白
2. 证明数据侧的转移感知策展可与算法侧的转移感知优化（TAPO）互补叠加，实现策略-数据协同优化
3. 为 LLM 世界模型合成轨迹的质量保障提供转移一致性验证机制，降低 SIMCON-DATA 框架识别的模拟不一致问题

可能的影响

TRANS-AWARE 直接回应当前智能体 RL 训练中最核心的瓶颈之一：训练数据中的环境动态信息密度不足。如果转移信息密度确为智能体泛化的关键数据质量信号，则：

• 对自进化智能体：TID 可作为自进化数据飞轮的质量守门人，确保自合成数据不会因转移信息密度退化而陷入性能平台
• 对合成数据工程：TID 为 LLM-as-World-Model 合成数据提供了比”任务多样性”更精细的质量信号，可指导合成数据生成器的注意力分配
• 对 RLVR 训练：转移感知策展可与现有 RLVR 方法正交叠加，为正确性/效率之外增加”环境理解深度”维度

相关工作

1. TAPO: Transition-Aware Policy Optimization for LLM Agents（arXiv:2607.27973, 2026-07-30）— 提出在策略优化中添加转移监督（动作条件下一观测预测），证明环境动态预测知识是智能体泛化的关键。TRANS-AWARE 从数据工程层面呼应 TAPO 的算法层面发现，将转移可预测性从辅助损失提升为一等数据质量信号。

2. OVCSD: Outcome-Verified Comparative Self-Distillation for LLM Agents（arXiv:2607.27937, 2026-07-30）— 提出结果验证的比较自蒸馏，揭示传统 OPSD 教师信号未经环境结果验证的缺陷。TRANS-AWARE 的 TCS 维度直接受 OVCSD 启发——教师信号的可靠性本质上等价于转移一致性。

3. CRPO: Contrastive Reinforced Policy Optimization via Privileged Self-Distillation（arXiv:2607.28026, 2026-07-30）— 利用预测熵区分反思性探索与暴露偏差，在多轮场景中保持细粒度优化信号。TRANS-AWARE 的 TPG 维度与 CRPO 的预测熵互补——TPG 衡量转移层面的预测差距，CRPO 的熵衡量 token 层面的预测不确定性。

4. SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution（arXiv:2607.26784, 2026-07-29）— 提出跨任务技能演化的统一 RL 框架，使用解耦信用分配同时监督任务求解与技能策展。TRANS-AWARE 借鉴 SkillRise 的解耦信用思想，将”转移学习”与”策略学习”的信用分离到数据策展层面。

5. Self-Evolving Learning for Embodied AI with Criticality Model（arXiv:2607.28251, 2026-07-30）— 提出基于关键性模型的重要性采样，将训练数据从名义场景转向失败易发场景，在具身 AI 中将失败率降低 51-67%。TRANS-AWARE 将关键性模型的思想从具身 AI 连续状态空间迁移至 LLM 智能体离散文本空间，用 TID 替代连续关键性分数。