产出账本与无提示配对重生成：对抗式多轮工具调用语料的提示依赖率、注入落地率与三路配比可加性审计

背景与动机

对抗式多轮工具调用语料的生成已经收敛到一个三段式模板：多角色模拟产出轨迹、判官逐条验收、失败的按判官给出的理由修回去。ToolRACER（arXiv:2610.09163，2026-10-06，Uniphore 与 UIUC，8 位作者）是这个模板目前最完整的一份工程实现——用户、助手、工具三角色模拟，语法、忠实性、角色混淆、任务成功四条判官，失败轨迹最多修两轮，输出 5.6K 条验证轨迹、覆盖 55 个 persona 与 72 个自建工具，训练集里 66.5%（2,503/3,762）标为 Unhappy 或 Impossible。

缺口出在第三段。修复提示直接由判官的失败诊断生成，§3.2.4 逐字写明判官 “suggesting at which particular turn the conversation is invalid”，该诊断随后被转成 refinement hint 送回模拟。附录 A 给出两个数字：不给反馈时只有 26.3% 的模拟一次通过，修复环挽回 65.4% 的失败会话。两数相乘可得，最终被接受的语料里 0.737×0.654/0.745 = 64.7% 是拿到提示之后才通过的；按表 6 分路径重算，Happy 60.5%（32.2 首过、72.6 修复）、Unhappy 66.5%（23.9、62.3）、Impossible 70.8%（23.6、75.0）。全篇从未报告这个比例，也从未跑过「同一场景、同一 persona、同一注入计划、不给提示」的那一臂。占比最大的两类对抗轨迹，恰好是提示依赖率最高的两类。

这不是方法论洁癖。语料里助手的恢复动作——追问缺失信息、在用户改目标后重排计划、遇到后端报错后换路径、对越权请求给替代方案——是在已知错在第几轮的条件下生成的。用它做 SFT，学到的条件分布是「被告知之后的恢复」，不是「自己发现之后的恢复」。而评测端（τ²-bench、ACEBench）不给任何定位提示。

第二处缺口在配比律。表 3 的六条消融加基座与全量，正好凑齐 2³ 因子设计的 8 个单元格，论文却只读成六条并列消融，从不算交互项。以 τ²-bench Macro 计，三个双路混合全部低于其两个单路臂之和：H+I 得 30.80，低于未训练基座的 32.20，也低于 H 单独的 33.90 与 I 单独的 34.45。以 BFCL Irrelevance 计，H 单路 72.92、U 单路 69.58，分别比基座 85.83 低 12.91 与 16.25 个点，只有 I 单路（95.50）高于基座。Takeaway 1 只写了 “training on Impossible paths excels on the hallucination category”，H 与 U 的反向代价没有进正文。

第三处是判官缺外部标定。脚注 1 写明判官提示 “engineered across various iterations over a small subset of the generated dataset”——调参与被判定对象同分布。而注入本身是程序化的：partial information、incremental constraint revelation、goal revision、adversarial attitudes、backend failure、empty results、timeout、policy constraint 八类由 runner 按计划触发，事件有没有发生、发生在第几轮是有真值的。这套真值既没有用来核对判官，也没有用来核对「66% 含失败场景」这个口径。

第四处是域内评测的工具清单混杂。表 4 里 ToolRACERBench-Train 的 Happy Tool F1 为 91.3、APIGen-MT 为 62.1，差 29.2 个点；但 ToolRACER 训练过的模型见过那 72 个自建工具名，APIGen-MT 没见过。同一张表上 AnsSim 反而全线低于 APIGen-MT（Happy 66.4 对 67.5、Unhappy 61.7 对 67.8、Impossible 54.6 对 63.9），正文通篇未提 AnsSim。表 5 的 ACEBench 过程准确率在 4B 上从 29.2 掉到 19.0、在 32B 上从 38.3 掉到 33.1，归因给长程任务，可该表既没有 APIGen-MT 微调臂，也没有等量随机子集臂，归因无从检验。

核心思路

提出产出账本驱动的准入与配比框架 PLAT（Provenance-Ledger Adversarial Trajectory curation）。它不替换 ToolRACER 的生成与判定，只在每次尝试上挂一条记录，并补两条从未执行过的对照臂。

形式化地，一条会话由场景种子 $\sigma$（成功判据、任务目标、种子数据、域）、persona $p$、注入计划 $\iota$（类型与目标轮窗）、工具代理环境种子 $e$ 决定。第 $k$ 次尝试产出 $c^{(k)}$，判官返回 $(v^{(k)}, r^{(k)})$，其中 $r^{(k)}$ 指认失败轮；修复提示 $h(r^{(k)})$ 与 $(\sigma,p,\iota,e)$ 一起送回模拟，最多两轮。

账本记四个字段，全部在生成期可得：$K^\ast$（最终接受时用了几次提示）、注入的实际触发轮 $\tau(\iota)$、判官指认的失败轮 $\tau(r)$、轨迹触及的工具名集合 $T(c)$。由此定义三个统计量。

提示依赖率 $\eta = \Pr[K^\ast \ge 1 \mid \text{accepted}]$，按路径与域分层报告。

注入落地率 $\lambda = \Pr[\iota \text{ 的事件可在 transcript 中定位}]$，与轮号命中率 $\mu = \Pr[|\tau(r)-\tau(\iota)|\le 1]$。$\lambda$ 与 $\mu$ 的分母是程序化真值，不是判官输出。

无提示重生成通过率 $\pi_0 = \Pr[v(c^{(\emptyset)})=1]$，其中 $c^{(\emptyset)}$ 锁定 $(\sigma,p,\iota,e)$ 与随机种子、只把 $h$ 置空后重跑一次。配套安慰剂臂 $c^{(\sim)}$ 把提示中的失败轮号换成同一对话长度上均匀随机的另一个轮号，保留「上一版不合格」这一元信息、毁掉定位信息。定位信息增益 $g_{\text{loc}} = \pi_{\sim} - \pi_0$。

三条区别把它与 ToolRACER 分开。第一条在语义：$K^\ast$ 在原论文里只是成本项（附录 A 只谈 yield），账本把它升成准入标签，按 $K^\ast$ 分层后可以分别训练零提示子集与提示子集，直接读出提示依赖的那部分增益是否迁移到无提示评测端。第二条在标定来源：四条判官第一次有了不依赖人工标注的外部真值，$\lambda$ 与 $\mu$ 的分母来自注入计划本身。第三条在配比依据：配比不再按 H/U/I 三个内容标签做，而是按账本字段做——先用等样本量 2³ 因子设计分离主效应与交互，再用交叉工具清单把工具名记忆从鲁棒性里摘出去。

退化关系明确：不记 $K^\ast$、不跑两条对照臂、按全量训练，PLAT 严格退化为原管线；$\lambda$ 的标定若通不过门禁，账本退化为只留 $K^\ast$ 一列的只读版本。

技术路线

第一步是挂账本。改 runner 与判官的返回结构，记录 $K^\ast$、$\tau(\iota)$、$\tau(r)$、$T(c)$、persona id、scenario id。不改采样、不改提示、不改阈值，产出与原管线逐位可比，只在末尾多几列。这一步顺带把测试集按 scenario id 与训练集做不相交切分——原文只说留了 33%（1,881/5,643）做 turn-level 评测，未说明场景层是否互斥，切分后需重报一次表 4。

第二步跑无提示配对重生成。对象是被接受且 $K^\ast\ge1$ 的全部轨迹，按 64.7% 估计训练集约 2,400 条。每条跑 $c^{(\emptyset)}$ 与 $c^{(\sim)}$ 两臂。成本约为原生成量的 1.3 倍重抽，只作用于已通过的场景，无 GPU 训练开销。读出 $\pi_0$、$\pi_{\sim}$、$g_{\text{loc}}$。

注入落地率与判官标定放在第三步。以 $\iota$ 为真值算 $\lambda$、$\mu$，再取 200 条人工双盲样本标定四条判官对「注入事件是否发生」的召回与精度、对失败轮的定位精度。门禁定为召回 ≥0.85、精度 ≥0.80，未达标则该条判官换成规则化检测。顺带按 $\lambda$ 重算「含失败场景」的比例。

第四步重跑等样本量 2³ 因子设计。七条训练臂加基座共 8 格，每格固定 n=1,199（按域分层下采样），3 个 seed，评测锁定 τ²-bench Macro、BFCL Irrelevance 与 Relevance、ACEBench EA 与 PA。表 5 补两条对照臂——APIGen-MT 微调臂与等量随机子集臂——用来判断 PA 掉的 10.2 个点是 ToolRACER 独有还是微调的普遍代价。主效应与交互按标准定义算：$\hat H = y_H - y_0$、$\widehat{HU} = (y_{HU}-y_0) - (\hat H+\hat U)$，三阶项取残差。

最后一步做交叉工具清单复测。造两套语义与参数槽全等、工具名与域内实体名互不相交的清单 $A$、$B$，训练集只用 $A$、测试集只用 $B$，重跑表 4 的 Tool F1 与 Params。

挑战集中在四处。重生成的随机性控制：锁定种子后，重抽与首抽的差异既来自提示也来自解码噪声，靠 $c^{(\sim)}$ 安慰剂臂把两者分开，并预注册最小可分辨差 8 个点。判官自指：$\lambda$ 的分母是真值，$\mu$ 的分母却依赖判官是否给出失败轮，缺失率需单列。样本量重排带来的域覆盖损失：固定 n=1,199 后每域只剩约 200 条，τ²-bench 两个域的方差会放大，用 3 seed 报区间而非点估计。交叉清单的语义等价性：换名必须保持参数槽与返回结构，取 50 条人工核对确认两套清单的可解性一致。

预期成果

六条可证伪预测，每条带终止线。

P1（账本）：$\hat\eta_{\text{U}} \ge 0.60$、$\hat\eta_{\text{I}} \ge 0.60$。附录 A 的 23.9%/62.3% 与 23.6%/75.0% 推得 66.5% 与 70.8%。两路实测都 <0.40，则两个数字不可相乘，方案一作废。

P2（重生成）：$|\pi_0 - q_0| \le 10$ 个点，$q_0=26.3\%$。若 $\pi_0 - q_0 > 20$ 个点，提示依赖这一缺口不成立，65.4% 的修复率主要来自重抽方差。

P3（安慰剂）：$g_{\text{loc}} \ge 8$ 个点。<2 个点则说明提示内容无关，只保留重抽偏差分支——接受集是至多三次尝试在二元门上的最大值，属选择性推断，语料系统性偏向判官高分侧，与提示依赖是两个独立但叠加的偏差源。

P4（标定）：$\lambda \ge 0.90$、判官召回 ≥0.85。$\lambda < 0.90$ 时「66% 含失败场景」按 $\lambda$ 重算。

P5（配比）：等样本量重跑后，τ² Macro 上三个二阶交互保持为负（用论文已印的 8 格做混杂预估值得 $\widehat{HU}=-1.75$、$\widehat{HI}=-5.35$、$\widehat{UI}=-2.60$），且 H、U 单路在 BFCL Irrelevance 上仍低于基座 8 个点以上。符号翻转则原表的非可加性由样本量解释，ToolRACER 的配比结论不受影响——这是可接受的证伪出口。

P6（清单）：交叉工具清单（训 $A$ 测 $B$）下 Tool F1 的优势收窄 ≥15 个点。收窄 <5 个点则域内增益确属鲁棒性迁移，而非工具名记忆。

定性目标是把合成对抗语料的准入从内容标签换成产出标签：任意一条训练轨迹都能回答「它凭什么被接受」——零提示还是带提示、注入是否真的落地、工具名是否在训练侧出现过。这条口径对任何「模拟—判定—修复」三段式管线都成立，不限于 ToolRACER 的六个域。

P2 与 P3 都成立时，配比之前还需要一步去偏：对 $K^\ast\ge1$ 的轨迹按 $\pi_0$ 做逆概率加权，或干脆只用零提示子集训练，把账本从描述性记录变成准入闸。

局限性与失效模式

提示依赖率不等于「这些轨迹更差」。 这是本提案最容易被读反的一处。$\eta$ 高只说明「拿到提示才通过」，至于提示修掉的是任务级错误还是格式/风格瑕疵，账本本身不区分。一个极端的反例：若 65.4% 的修复率里大部分是在修工具参数槽的书写格式，那么按 $K^\ast$ 分层训练出的两个子集在评测端可能毫无差别——此时 PLAT 的全部工作只产出一个描述性统计。区分「依赖」与「有害」靠的是 P2 与 P3，不是 $\eta$ 本身。读法：$\eta$ 是准入标签的入口，不是结论。

64.7% 是推导值，不是报告值。 它由附录 A 的两个比例复合而来（$0.737\times0.654/0.745$），依赖两项隐含假设：修复环挽回的会话与首过会话在同一分母口径下可比；表 6 的 26.3% 与 65.4% 来自同一次采集。论文从未报告这个乘积，也从未提供按路径 × 域的联合分布。若两者来自不同批次，分层值（60.5% / 66.5% / 70.8%）会整体偏移。P1 的终止线（<0.40 则方案作废）判的是「能不能相乘」，不是「原论文的结论错」。

重生成臂存在幸存者偏差。 $c^{(\emptyset)}$ 与 $c^{(\sim)}$ 只对已通过的轨迹重跑，从未被接受的场景不在比较范围内。这带来一个不对称：$\pi_0$ 的分母是被接受集，而 $q_0=26.3\%$ 的分母是全体模拟。两者直接相减（P2 的 $|\pi_0-q_0|\le10$）在口径上并不严格对齐——更干净的做法是把 $q_0$ 也限定到「最终被接受的场景」上重算，或在报告时同时给出两个分母。

外部效度边界。 ToolRACER 覆盖 6 个企业域（银行 / 日历 / 家政 / 网购 / 订餐 / 旅行）、72 个自建工具、55 个 persona，微调基座仅 Qwen3-4B-Instruct 与 Qwen2.5-32B-Instruct 两档。四个统计量里 $\eta$ 与 $\lambda$ 是管线属性、可迁移性较好；$\mu$ 依赖判官是否给出失败轮，换判官模型就要重标定；$\pi_0$ 与 $g_{\text{loc}}$ 则与解码温度和采样预算强绑定，换采样设置后的绝对值不可直接比较。

交叉清单只分离「工具名记忆」这一条通道。 训 $A$ 测 $B$ 能摘掉工具名与域内实体名的记忆，但摘不掉参数槽的取值分布与返回结构的风格。若模型记住的是「这套工具总返回含 status 字段的 JSON」，换名不换结构则 P6 的收窄幅度会被低估。这条限制意味着 P6 的「收窄 <5 个点」不足以证明鲁棒性迁移成立，只能证明工具名这一条通道不是主因。

引用核验记录（2026-10-08）

正文中已逐条回源核验的数字（均取自 arxiv.org/html/2610.09163v1 全文）：

• 附录 A：首过率 26.3%（表 6：Happy 32.2 / Unhappy 23.9 / Impossible 23.6 / All 26.3）、修复挽回率 65.4%（72.6 / 62.3 / 75.0 / 65.4）→ 分层提示依赖率 60.5% / 66.5% / 70.8% 复核通过
• 表 3（τ² Macro）：基座 Qwen3-4B-Instruct 32.20、H 33.90、U 35.85、I 34.45、H+I 30.80、H+U 35.80、U+I 35.50 → 三个二阶交互 $-1.75 / -5.35 / -2.60$ 复核通过
• 表 3（BFCL Irrelevance）：基座 85.83、H 72.92、U 69.58、I 95.50 → 差额 12.91 与 16.25 个点复核通过
• 表 4：ToolRACERBench-Train Happy Tool F1 91.3 vs APIGen-MT 62.1；AnsSim 三列 66.4 / 61.7 / 54.6 对 67.5 / 67.8 / 63.9 复核通过
• 表 5：ACEBench EA / PA 两列，PA 在 4B 上 29.2 → 19.0、32B 上 38.3 → 33.1 复核通过（列名为官方 EA = end-to-end accuracy、PA = process accuracy）
• 数据切分：训练 3,762（1,259 / 1,304 / 1,199）、测试 1,881（629 / 652 / 600），合计 5,643 → 训练集 Unhappy+Impossible = 2,503/3,762 = 66.5%、测试集留比 1,881/5,643 = 33.3% 复核通过
• 5.6K 轨迹、55 persona、72 个自建工具复核通过；等样本量设计的 n=1,199 取自 Impossible 路训练集规模
• 八类注入（四类用户侧：Partial information / Incremental constraint revelation / Goal revision / Adversarial attitudes；四类系统侧：Backend failure / Empty results / Timeout / Policy constraint）逐条在 §3.3 命中
• 两处原文引文逐字命中：§3.2.4「suggesting at which particular turn the conversation is invalid」；脚注 1「The prompt for the judge model was engineered across various iterations over a small subset of the generated dataset」

相关工作

arXiv:2610.09163 — ToolRACER: A Robust Agentic Conversation Emulation Resource for Agent Training and Evaluation（Chakraborty 等，2026-10-06）。本提案的主锚点：三角色模拟加四判官加两轮修复，附录 A 的 26.3% 首过率与 65.4% 修复率是提示依赖率的直接原料。

• APIGen-MT: Agentic Pipeline for Multi-Turn Data Generation via Simulated Agent-Human Interplay（arXiv:2504.03601）。ToolRACER 全文的主要对照基线，5K 验证轨迹，同样走模拟加验证的合成路线，但不含修复环，$K^\ast$ 恒为 0，天然是「零提示语料」的现成参照。

arXiv:2605.12894 — Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents（Chopra 等）。与 ToolRACER 的 persona 注入最贴近的一支，用它做 τ-bench 训练的鲁棒性实验；区别是它只做评测侧的用户侧对抗，不进入生成期的修复环。

• Scaling Trajectories for Complex Tasks through Recursive Self-Rewrite（arXiv:2610.02826，Li 等，2026-10-02）。终端任务上处理同一类「辅助条件下的成功不能直接用」的问题，把带脚手架的成功改写成 runbook 后再在通用 harness 下重执行。区别在于 RSR 剥离的是执行期脚手架，PLAT 剥离的是判定期的定位信息，两者的对照臂构造可以互换。

arXiv:2506.07982 — τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment（Barres 等）。提案里 τ² Macro 这一评测轴的定义来源，也是表 3 中 Airline 与 Retail 两列的出处。