研究提案已修订

面向环境无关智能体训练数据的模拟一致性感知合成工程：从单模型状态幻觉到一致性锚定的数据策展

针对LLM-as-World-Model环境无关数据合成中的状态一致性问题，提出模拟一致性感知框架SIMCON-DATA

2026年7月22日环境无关合成模拟一致性 API智能体 LLM世界模型训练数据工程状态保真交叉验证

背景与动机

当前问题

API 调用智能体的训练依赖大量高质量交互轨迹数据。传统方法需要完全实现的可执行环境（含真实 API 后端和数据库），这构成了规模化瓶颈：构建一个包含完整后端状态的 API 环境需要数周工程投入，且难以覆盖多样化的 API 生态。

Lee et al. (arXiv:2607.16900) 提出的环境无关合成方法革命性地消除了这一瓶颈——仅凭 API 规范文档，利用 LLM 作为”即时代码世界模型”（on-the-fly digital world model）模拟 API 响应，生成训练轨迹。然而，这一方法引入了一个根本性新问题：LLM 世界模型的模拟一致性（Simulation Consistency）。

现有方案的不足

环境无关合成面临三类一致性挑战，现有方法均未系统性解决：

状态一致性断裂：LLM 模拟器必须在多轮交互中维护隐式状态模型（如”用户 A 已创建文件 X”→后续查询应返回文件 X）。当轨迹跨越多个状态变更操作（POST/PUT/DELETE）时，LLM 的模拟响应可能自相矛盾——创建的资源在后续查询中”消失”，删除的资源仍然”存在”。AppWorld 与 OfficeBench 是官方评测所用的两个多应用基准，二者都同时包含 information-retrieval 与 state-changing 任务，正是此类场景。

规范漂移（Specification Drift）：LLM 模拟器对 API 规范的理解可能随轨迹展开逐渐偏移——参数约束被放松、返回格式发生变化、错误码语义被篡改。这里借用的是 CADENCE (arXiv:2607.16955) 的 coverage-adaptive 调度思想：它按学生的”覆盖状态”而非训练时长来安排 forward-KL / reverse-KL 的逐 token 凸组合，这个”以被测对象的覆盖状态驱动调度”的思路可直接平移到模拟器上——但必须说清，CADENCE 的 coverage 指的是学生对教师偏好 token 的覆盖，与”模拟器状态覆盖”不是同一个量，属于思路借用而非已验证的事实迁移；模拟器自身的”覆盖状态”至今无法被外部验证，这正是本提案要补的缺口。
分布偏倚（Distribution Bias）：LLM 模拟器倾向于生成”快乐路径”（happy-path）响应——成功的 API 调用、预期的返回值、无异常的状态转换。这导致合成数据缺乏对错误恢复、边界条件、异常状态的覆盖。SETA (arXiv:2607.10891) 与这一点同源但结论更窄：它按通过率对任务做难度迁移（易任务升难度、难任务降难度以提高可学习性），并把审核出的任务区分为 too_hard（保留）与 design_flaw（丢弃，实测约 2%）——说明的是难度分布是环境设计中被有意调控的维度，并未断言”困难样本对 RL 训练最关键”。因此这里只能写成”难度与异常覆盖是已被上游显式调控的维度”，把”困难样本最关键”降级为本提案待检验的假设。

核心思路

SIMCON-DATA 框架

提出模拟一致性感知训练数据合成工程（Simulation Consistency-Aware Data Engineering, SIMCON-DATA），将 LLM 世界模型的模拟一致性建模为一等训练数据质量信号，从”事后过滤”转向”合成中保障”。

核心创新：一致性锚定合成（Consistency-Anchored Synthesis）。需要先把基线说准：ESAT 已在合成过程中做逐响应校验（与完整交互历史比对、确定性输入校验、schema 校验、simulator-judge 重试回路），所以这里的增量不是”有没有合成中校验”，而是把逐响应的隐式启发式升级为可审计的显式约束：以状态约束图（SCG）把状态变更效应形式化，以多模型交叉一致性率（CCR）给出不确定度的外部量，再以分布层面的覆盖控制补齐 happy-path 偏倚——三类一致性约束（状态、规范、分布）共同驱动数据质量。

与现有工作的关键区别

维度	Environment-free (2607.16900)	FIDELITY-AWARE (前序工作)	SIMCON-DATA (本提案)
模拟器类型	LLM 世界模型	编程模拟器	LLM 世界模型
一致性检测	合成中逐响应校验（历史比对 + 输入/输出 schema + simulator-judge 重试）；轨迹级后置 LLM judge	Sim-to-Real 差距度量	合成中显式状态约束图 + 多模型交叉验证
状态建模	隐式（LLM 上下文）	显式（模拟器内部状态）	显式状态约束图
覆盖控制	无	保真门控	一致性-覆盖联合调度

技术路线

第一阶段：模拟一致性诊断

状态一致性诊断：构建轨迹级状态约束图（State Constraint Graph, SCG），将每个 API 调用的状态变更效应形式化为有向边。对合成轨迹执行状态可达性验证——若模拟响应违反 SCG 约束（如已删除资源仍被查询返回），标记为状态不一致。定义状态一致性评分（State Consistency Score, SCS）量化每条轨迹的状态保真程度。
规范一致性诊断：从 API 规范文档（OpenAPI/Swagger）自动提取参数约束和返回格式规约。对每个模拟响应执行规约符合性检查（类型检查、枚举值检查、必填字段检查）。引入规范漂移度（Specification Drift Score, SDS）量化模拟器输出与规范的偏离程度。
分布一致性诊断：定义模拟分布偏差指数（Simulation Distribution Bias Index, SDBI），对比模拟响应的分布（错误率、异常类型分布、状态转换模式）与 API 规范隐含的预期分布。关键指标包括：错误响应比例、状态转换覆盖率、异常路径激活率。

第二阶段：一致性锚定数据策展

一致性门控采样：对候选轨迹按三类一致性评分（SCS/SpecCS/DCS）加权采样，优先保留高一致性轨迹。引入一致性-多样性帕累托前沿，避免仅选择”简单一致”的轨迹。
一致性增强合成：
- 状态锚定合成：对状态不一致的轨迹段，注入显式状态检查点（“验证资源 X 是否存在于当前状态”），强制模拟器在关键状态变更后执行自洽性检查
- 规范锚定合成：对规范漂移的响应，使用规范文档作为结构化约束重新生成，而非依赖 LLM 自由生成
- 对抗性合成：针对性合成 LLM 模拟器容易”幻觉”的场景（长链状态变更、跨资源依赖操作、并发修改），作为难度增强样本
交叉验证协议：引入多模型交叉验证（Cross-Model Verification Protocol）——使用不同 LLM 作为独立模拟器生成同一轨迹的模拟响应，计算交叉一致性率（Cross-Consistency Rate, CCR）。低 CCR 区域即为高模拟不确定性区域，需要真实 API 调用或人工验证锚定。

第三阶段：一致性-能力共进化闭环

一致性感知批次构建：训练批次中混合不同一致性等级的轨迹，避免仅在高一致性数据上训练导致对真实环境不一致性的脆弱性。
一致性-覆盖联合调度：借鉴 CADENCE 的 coverage-adaptive 思想，在模拟器一致性高（CCR > 阈值）的区域减少验证开销，在一致性低（CCR < 阈值）的区域增加锚定验证。
一致性-能力共进化：随着智能体能力提升，动态调整一致性约束的严格程度——初期宽松约束允许更多探索性数据，后期严格约束确保数据质量。

关键技术挑战

状态约束图的自动构建：从自然语言 API 规范中自动提取精确的状态变更效应是开放问题，需要结合结构化解析（OpenAPI）与 LLM 语义理解。
交叉验证的计算开销：多模型交叉验证的推理成本可能成为瓶颈，需要研究自适应验证频率策略。
一致性-多样性的权衡：过度追求一致性可能导致合成数据偏向简单场景，需要帕累托优化。

预期成果

定量目标

在 AppWorld 和 OfficeBench 基准上，环境无关合成数据的状态一致性率从当前约 70% 提升至 >90%
合成数据训练的 API 智能体在 state-changing 任务上的通过率提升 10-15 个百分点
交叉验证协议的假阳性率 < 5%（即标记为不一致的轨迹确实存在真实环境中的不一致）
合成效率损失 < 20%（一致性约束引入的额外计算开销）

定性目标

建立环境无关合成的系统性一致性保障框架，把一致性从”逐响应启发式校验”提升为”可审计的显式约束 + 可外部验证的不确定度”
为 LLM-as-World-Model 的可靠性评估提供可量化的一致性度量体系
揭示 LLM 模拟器在 API 状态建模中的系统性失败模式（如长链状态遗忘、跨资源一致性缺失）

可能的影响

本提案的成果将直接影响环境无关智能体训练数据的工程实践，使”无需环境即可训练 API 智能体”从原型验证走向生产可用。更广泛地，SIMCON-DATA 的一致性锚定思想可扩展至任何 LLM-as-Simulator 场景（对话系统、游戏 AI、机器人任务规划），为 LLM 世界模型的可靠性建立工程标准。