面向工具增强智能体训练的环境保真感知数据工程：从Sim-to-Real行为差距度量到保真驱动的环境-数据共进化

背景与动机

当前问题：工具增强智能体训练的Sim-to-Real保真鸿沟

工具增强（tool-augmented）智能体通过调用外部API/工具完成复杂任务，已成为LLM落地的核心范式。然而，训练此类智能体的强化学习（Agentic RL）面临一个根本性瓶颈：训练环境与真实部署环境之间的保真鸿沟（Sim-to-Real Fidelity Gap）。

近期三项独立工作从不同角度揭示了这一问题的严重性：

1. Firefly（Lu et al., 2026, 2605.17558）指出：现有合成环境与真实API行为严重偏离，合成轨迹中工具响应常常是LLM幻觉产物而非真实API输出，导致RL训练信号失真。Firefly提出反向合成管线——先探索真实API再从观测结果反向合成任务——保证标签正确性，但其检索增强模拟器（retrieval-augmented simulator）仅缓存已观测结果，无法泛化至未探索的API状态空间。

2. EnvFactory（Xu et al., 2026, 2605.18703）系统化了可执行环境合成：从真实资源自动探索和验证有状态工具环境，通过拓扑感知采样生成自然多轮轨迹。然而，EnvFactory的环境构建是一次性的——环境一旦构建完成就不再随智能体能力演化而更新，导致环境保真度随智能体改进而隐性退化。

3. When Simulation Lies（Zhou et al., 2026, 2605.11928）首次将Sim-to-Real差距形式化为POMDP框架下的四个扰动维度（观测、动作空间、奖励相关元数据、转移动力学），并发现：观测扰动仅降低<5%准确率，但转移动力学扰动降低30%，奖励相关扰动降低40%。然而，该工作仅通过静态域随机化处理三个可编码维度，无法处理动态转移动力学漂移。

现有方案的根本局限

上述工作暴露了当前范式的三个系统性缺陷：

缺陷1：保真是二值判断而非连续度量。 现有方法将环境保真视为”真实 vs. 模拟”的二元选择——要么使用昂贵且不稳定的真实API，要么使用可能偏离的模拟器。然而，保真度是连续且多维的：同一模拟器在API正常响应上可能高度保真，但在错误处理、速率限制、状态漂移上可能严重失真。

缺陷2：保真差距是动态的而非静态的。 现有方法假设环境保真度是环境的固有属性，但实际上它是智能体-环境对的涌现属性。随着智能体能力提升，其行为分布向更复杂的工具组合和边缘场景偏移，暴露出之前未被触及的低保真区域——保真差距反而可能随智能体改进而扩大。

缺陷3：保真未被用作训练数据质量信号。 现有数据策展管线仅使用任务可解性、标签正确性、轨迹多样性等信号筛选训练数据，完全忽略轨迹在模拟环境中的执行是否忠实地反映了真实部署条件。低保真轨迹被同等权重地用于训练，引入系统性偏差。

核心思路

方法概述：FIDELITY-AWARE框架

我们提出FIDELITY-AWARE——一个将环境保真建模为一等数据质量信号的训练数据工程框架。核心思想是：不是在训练后验证环境保真，而是在训练数据的全生命周期中持续度量、门控和校准保真度。

FIDELITY-AWARE由三个阶段组成，形成保真驱动的环境-数据共进化闭环：

阶段1：行为差距度量（Behavioral Gap Profiling）——系统度量Sim-to-Real保真差距

• 在模拟环境和真实环境中分别执行同一批工具调用轨迹
• 沿POMDP四维度（观测、动作空间、奖励元数据、转移动力学）计算行为分布差异
• 输出每条轨迹的保真剖面（fidelity profile），而非单一标量

阶段2：保真门控策展（Fidelity-Gated Curation）——基于保真信号筛选训练数据

• 使用保真剖面作为数据质量门控：高保真轨迹获高权重，低保真轨迹被降权或修复
• 对低保真区域进行保真感知重采样：从真实环境中补充该区域的轨迹
• 设计保真感知RL损失：对高保真轨迹给予更强梯度信号，对低保真轨迹进行不确定性惩罚

阶段3：保真驱动环境增强（Fidelity-Driven Environment Augmentation）——自适应缩小保真差距

• 识别保真剖面中的系统性低保真模式（如特定API的错误处理、特定状态转移序列）
• 通过定向域随机化增强环境在这些模式上的行为多样性
• 对无法通过静态增强修复的转移动力学漂移，引入在线保真监测器在训练中实时检测并告警

与现有工作的关键区别

维度	Firefly	EnvFactory	When Simulation Lies	FIDELITY-AWARE
保真建模	二值（缓存 vs. 未缓存）	隐式（通过验证通过率）	扰动维度分类	连续多维保真剖面
保真度量	不度量	不度量	离线基准测试	在线持续度量
保真演化	不演化	一次性构建	静态域随机化	自适应共进化
数据策展	标签正确性	拓扑多样性	不涉及	保真门控策展
转移动力学	检索回放	可执行沙箱	不可编码	在线监测+定向增强

技术路线

第一步：行为差距度量管线

1.1 对偶执行协议（Dual Execution Protocol）

对每条训练轨迹 $\tau = (s_0, a_0, s_1, a_1, \ldots, s_T)$，同时在模拟环境 $\mathcal{E}_{sim}$ 和真实环境 $\mathcal{E}_{real}$ 中执行相同的动作序列，得到对偶轨迹 $(\tau_{sim}, \tau_{real})$。

定义行为差距度量：

$\Delta_{beh}(\tau) = \sum_{t=0}^{T} w_t \cdot d(s_t^{sim}, s_t^{real})$

其中 $d(\cdot, \cdot)$ 是状态距离函数，$w_t$ 是时间衰减权重（后期步骤权重更高，因其对最终结果影响更大）。

1.2 POMDP维度分解

沿When Simulation Lies提出的四个POMDP维度分别计算行为差距：

• 观测差距 $\Delta_{obs}$：工具返回值/结构的一致性
• 动作空间差距 $\Delta_{act}$：可用工具集/参数空间的一致性
• 奖励元数据差距 $\Delta_{rew}$：评估标准（如任务完成判断）的一致性
• 转移动力学差距 $\Delta_{trans}$：API状态转移的一致性（含延迟、错误率、幂等性）

输出保真剖面 $\mathbf{f}(\tau) = (1 - \Delta_{obs}, 1 - \Delta_{act}, 1 - \Delta_{rew}, 1 - \Delta_{trans}) \in [0,1]^4$

1.3 统计显著性保障

由于真实API调用有成本和速率限制，需设计自适应采样策略：优先对历史保真度低或智能体能力变化大的区域进行对偶执行，减少不必要的真实API调用。采用贝叶斯优化框架，以保真度估计的不确定性为采集函数。

第二步：保真门控策展

2.1 保真加权损失

在GRPO训练中，引入保真权重调制优势估计：

$\hat{A}_i^{fidel} = \hat{A}_i \cdot \sigma(\alpha \cdot (\bar{f}(\tau_i) - \beta))$

其中 $\bar{f}(\tau_i)$ 是轨迹 $\tau_i$ 的平均保真度，$\alpha$ 控制门控锐度，$\beta$ 是保真阈值，$\sigma$ 是sigmoid函数。低保真轨迹的优势估计被压缩至零附近，高保真轨迹保持原始梯度信号。

2.2 低保真区域定向补采

对保真剖面中 $\Delta_{trans}$ 或 $\Delta_{rew}$ 高于阈值的区域，从真实环境中定向补采轨迹：

1. 聚类低保真轨迹，识别共性模式（如特定API调用序列、特定错误类型）
2. 生成针对这些模式的探测任务
3. 在真实API上执行探测任务，收集真实行为数据
4. 用真实数据替换模拟器中对应区域的缓存

2.3 保真感知数据增强

对无法直接在真实API上复现的低保真区域（如极低概率的API错误），设计保真约束增强：

• 增强后的轨迹必须通过保真验证器（与已收集的真实行为分布统计一致）
• 采用拒绝采样确保增强轨迹不引入保真剖面中未见的行为模式

第三步：保真驱动环境增强

3.1 系统性低保真模式挖掘

跨轨迹分析保真剖面，挖掘系统性低保真模式：

• API错误行为模式：模拟器返回200而真实API返回429（速率限制）
• 状态转移漂移：模拟器保持状态一致性而真实API存在延迟一致性
• 语义幻觉：模拟器对未定义参数返回合理但错误的默认值

3.2 定向域随机化

基于When Simulation Lies的域随机化思想，但将其从全局随机化改进为保真梯度引导的定向随机化：

• 识别保真梯度最大的维度-区域组合
• 对该组合施加更高强度的随机化（如增加API错误率注入、延迟抖动）
• 保持其他维度的随机化强度不变，减少不必要的训练噪声

3.3 在线保真监测器

对转移动力学漂移（$\Delta_{trans}$）这种无法静态编码的维度，设计在线监测器：

• 在训练rollout中，随机抽样部分轨迹同时在真实API上执行
• 计算实时保真度，若低于阈值则暂停训练并触发环境校准
• 采用指数加权移动平均追踪保真度趋势，检测缓慢漂移

关键技术挑战

挑战1：真实API调用的成本约束。 行为差距度量需要在真实API上执行轨迹，成本可能很高。需要设计高效的自适应采样策略，在保真估计精度和API调用成本间取得平衡。

挑战2：转移动力学的不可编码性。 某些Sim-to-Real差距（如真实API的负载依赖延迟、竞态条件）无法通过静态域随机化编码。需要探索运行时模拟器适配技术，如基于真实API响应的在线微调。

挑战3：保真-难度的交互效应。 保真差距和任务难度存在交互：高难度任务可能在模拟器中可解但在真实环境中不可解（因API限制），导致保真门控不恰当地排除高难度训练数据。需设计保真-难度联合门控策略。

挑战4：保真度量本身的可靠性。 对偶执行协议假设相同动作序列在模拟和真实环境中的差异仅来自环境保真差距，但随机性（如API的随机响应）可能引入噪声。需通过多次对偶执行取均值来降低度量噪声。

预期成果

定量目标

1. 保真度量有效性：在When Simulation Lies的22种扰动类型上，FIDELITY-AWARE的保真剖面应与真实Sim-to-Real性能下降呈强相关（Spearman ρ > 0.8）
2. 训练数据质量提升：与Firefly基线相比，保真门控策展应将低保真训练轨迹占比降低50%以上
3. 下游任务性能：在τ²-Bench、BFCLv3、MCP-Atlas等工具使用基准上，使用FIDELITY-AWARE训练的4B参数模型应比使用Firefly数据训练的同等模型提高3-5%通过率
4. Sim-to-Real迁移：从模拟环境迁移到真实API部署时，性能下降幅度降低60%以上（相比EnvFactory基线）
5. API调用效率：保真自适应采样策略应将真实API调用量控制在全量对偶执行的20%以内，同时保真估计误差 < 10%

定性目标

1. 首次建立工具增强智能体训练的环境保真形式化框架，将Sim-to-Real差距从工程问题提升为可度量、可优化的科学问题
2. 提出保真感知训练数据工程新范式，将环境保真作为与标签正确性、任务多样性并列的一等数据质量维度
3. 为工具增强智能体训练提供保真-难度联合门控理论，指导训练数据策展中的保真-能力权衡

可能的影响

1. 对工具增强智能体训练的直接影响：为Firefly、EnvFactory等环境合成方法提供保真验证和校准层，提升训练数据质量和部署可靠性
2. 对Agentic RL训练范式的推动：保真感知损失函数可推广至任何使用模拟环境的RL训练场景（如机器人、自动驾驶）
3. 对MCP生态的实践价值：为MCP工具调用智能体的训练提供保真度量标准，推动MCP环境质量规范化
4. 对AI安全的间接贡献：环境保真验证可检测模拟环境中的系统性偏差，减少因训练-部署不一致导致的安全风险

相关工作

1. Firefly: Illuminating Large-Scale Verified Tool-Call Data Generation from Real APIs（Lu et al., 2026）

   • arXiv: 2605.17558
   • 提出从真实MCP服务器反向合成验证工具调用数据的管线，通过检索增强模拟器实现离线可复现RL训练。FIDELITY-AWARE在此基础上增加保真度量层，将Firefly的一次性缓存扩展为保真驱动的动态校准。

2. EnvFactory: Scaling Tool-Use Agents via Executable Environments Synthesis and Robust RL（Xu et al., 2026）

   • arXiv: 2605.18703
   • 自动化可执行工具环境合成框架，通过拓扑感知采样生成自然多轮轨迹。FIDELITY-AWARE为EnvFactory的一次性环境构建提供保真验证和持续校准机制。

3. When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents（Zhou et al., 2026）

   • arXiv: 2605.11928
   • 将Sim-to-Real差距形式化为POMDP四维度扰动，提出域随机化RL方案。FIDELITY-AWARE将其静态域随机化升级为保真梯度引导的定向随机化，并扩展至不可编码的转移动力学维度。

4. EXG: Self-Evolving Agents with Experience Graphs（Jin et al., 2026）

   • arXiv: 2605.17721
   • 将智能体经验组织为结构化经验图，支持在线跨任务经验复用。FIDELITY-AWARE将经验图扩展为保真标注经验图，使跨任务经验复用考虑环境保真差异。

5. ParaVT: Taming the Tool Prior Paradox for Parallel Tool Use in Agentic Video Reinforcement Learning（Yang et al., 2026）

   • arXiv: 2605.20342
   • 揭示工具先验悖论——预训练工具先验既促进探索又破坏训练稳定性，提出PARA-GRPO。FIDELITY-AWARE的保真门控损失与PARA-GRPO互补：保真门控约束训练信号来源的可靠性，工具先验管理约束训练动力学的稳定性。