环境合成质量门的可辨识性审计：分离裁判同源、门—部署口径错位与机制对齐对计算机使用智能体训练增益的贡献

背景与动机

WildAWM（arXiv:2610.26828，UNC-Chapel Hill 与 Microsoft Research 等 12 位作者，v1 2026-10-19）把计算机使用智能体的训练环境从单个应用抬到一整台个人电脑：36 个人格、640 个世界状态、15 个镜像网站加 8 个 MCP 服务、83 个可复用事件技能，单个世界状态中位 52.4K token、终态 59.3 MiB。任务侧产出跨接口（XAI）任务，要求 GUI、MCP、CLI 每种接口都不可或缺，最终收 341 条（273 条 hard、68 条 medium），平均 4.2 个子任务、3.1 次接口切换。训练只吃这 341 条：100 条做 SFT 种子、208 条做 GRPO、33 条做 in-domain 验证。结果是 Qwen3.6-35B-A3B 的八基准均值从 42.84 升到 53.42（+10.58），Qwen3.5-4B 从 21.83 升到 30.04（+8.21）。

五道执行式质量门是这套流水线最值得抄的部分：判定一致性、初始不可满足、任务可解性、任务难度、反事实探针。它们把「任务做不做得到、难不难、验证器准不准」从写作时的主观判断换成可重跑的证据。裂口出现在证据的产地与结论的消费地之间：五道门的证据全部在同一个闭环内产生，而头条增益全部在闭环外被测量，两者之间没有任何一层要求交叉。

第一层错位是判定者与被判定者同源。生成器是 GLM-5.2（OpenCode），LLM 裁判是 GLM-5.2，agent-as-a-judge 也是 GLM-5.2（附录 A.4 与实现细节逐字写明），SFT 种子轨迹同样采自 GLM-5.2。验证器可靠性表拿「裁判多数」做参照，报一致度 0.95 与 Cohen’s κ 0.90。

第二层错位在门与部署的口径。难度门只数 3 条无提示 rollout，可解性门却允许 6 条里的任意一条通过——包含 3 条带提示的。带提示 rollout 的提示文本由生成器自己从 reason.md 派生，而 RL 与评测阶段 solver 只看 task.md。

第三层错位在机制与基准的方向。论文主张跨接口协调是核心能力，训练后 GUI 工具在全部工具调用中的占比却从 base 的 16.3% 掉到 SFT 的 4.3%、再到 WildAWM 的 1.6%，教师 GLM-5.2 是 13.6%。同一个模型在 OSWorld-Verified 上 +16.06、在 CUA-Gym 上 +12.22。

六处可以直接核验的硬证据：

1. 验证器可靠性的参照系就是生成模型本身。 表 6 给出 GLM-5.2 一行（0.95 / 0.98 / 0.93 / 0.95 / 0.90）与 Judge majority 一行（0.95 / 0.98 / 0.93 / 0.95 / 0.90），五项数值逐项相同；非同源裁判 GPT-5.6-Sol 与 Claude-Opus-5 的 κ 是 0.83 与 0.84，都低于 0.90。所以 κ=0.90 量的是「合成验证器与写它的那个模型有多一致」，不是与独立判据的一致度。裁判侧的构成也不均衡：GLM-5.2 贡献 3 次判定运行（OpenCode、Claude Code、Codex），GPT-5.6-Sol 与 Opus-5 各 2 次。

2. 反事实探针的通过条件是「裁判不改口」，一个永远不改口的裁判通过率是 100%。 探针断言相反结论并要求复核，通过条件为复核后维持原判（附录 A.4 逐字 “defends its original verdict with cited evidence (pass)”）。这条门没有假阳性对照，也没有「应当翻转」的那一半：探针从不植入已知错误的判定去看裁判能否翻对。表 4 里 probe fixes 的均值只有 0.18。探针还只作用在裁判上，而 RL 实际用的奖励是程序化验证器 V，V 本身从未被探针直接检验。

3. 约 191 条任务的可解性证据只来自带提示 rollout。 表 4 给出无提示成功率 21.3%，任务分档 273 hard 与 68 medium，难度门的 $k$ 只在 3 条无提示 rollout 上求和。341 × 3 × 0.213 ≈ 218 个无提示成功；medium 按定义为 $k=2$，68 条吃掉 136；余下 82 个成功落在 273 条 hard 上，于是 82 条 $k=1$、191 条 $k=0$，占 341 条的 56.0%。这 191 条任务的全部可解性证据是那 3 条带提示 rollout，而 RL 与评测都不给提示。难度门本身也只有 $n=3$，把 $k\le1$ 合成一档 hard 意味着「无人做对」与「恰好一人做对」共用同一标签。

4. 门消融只在 4B 模型的 SFT 阶段做，且三个 OOD 列中有两个非单调。 表 7 的 full 行为 38.49 / 50.17 / 17.17 / 21.59（O2W / QCB / OSV / 域内 Val），均值 31.86。去掉任务可解性门，O2W 升到 44.87（+6.38）；去掉反事实探针，OSV 升到 24.09（+6.92）；OSV 这一列五个去门臂里有三个高于 full，O2W 有两个高于 full，只有 QCB 单调。所谓「去掉任意一门掉 2.60 到 9.30 分」由域内 Val 一列撑起（3.05 到 21.59，跨度 18.54），而 Val 的 33 条任务正是被这五道门选出来的。全表无 seed、无重复、无误差棒。

5. 排除机制不记账，而排除率随臂变化。 O2W 用 300 题，「因 reCAPTCHA 或其他访问限制被阻断的网站直接排除」，排除条数未刊出；infra 错误允许 3 次重试后排除 attempt，rollout 因沙箱或 harness 错误同样最多重试 3 次后排除，两档排除率都未刊出。论文只在图 5 的说明里自陈 5.5% 的 episode 在 120 步前超时。轨迹越长，撞上超时与 infra 错误的概率越高，所以排除率不是常量，是随被测臂变化的量；把排除掉的 attempt 从分母里去掉，等于让分母跟着臂走。

6. 验证器可被绕过的模式被记在论文自己的教训库里，却没有回头压测已接受的任务。 表 18 把 20 条合成技能的修订按属性分组，接口覆盖类 238 次修订几乎全是绕过模式（web-state-restated-post-bypass 79 次、interface-flow-answer-key-leak 55 次、answer-key-leak-cascades-interface-bypass 39 次），任务难度类 201 次，写入持久化类 94 次，而验证器可靠性类只有 19 次。奖励函数是生成器自写的程序化脚本，还带 $0.1/N$ 的 checklist 部分分，专门奖励「多满足几个便宜的 criterion」。全文 “hack” 一词出现 0 次，341 条已接受任务从未被脚本化绕过攻击复测。

三条叠加之后，+10.58 无法在「验证器真的准」「任务真的可解」「增益真的来自跨接口」之间分配。

核心思路

提出 PIL（Provenance & Identifiability Ledger，判据溯源与可辨识性账本）：不新增门、不改流水线结构，只把 WildAWM 已有的一次训练拆成六个可辨识的对照，并定为合成环境数据卡片的必填栏位。

第一栏是判据同源账，把「判定由谁做出」写成显式变量。关键量是同源判定份额 $p_{\rm self}$、换成非同源裁判后重算的一致度 $\kappa_{\rm ext}$，以及两者之差 $\Delta\kappa=\kappa_{\rm self}-\kappa_{\rm ext}$。

第二栏是探针可辨识账，给反事实探针补上它缺的那一半对照。关键量是顽固基线通过率 $\pi_{\rm stub}$（永远不改口的裁判）、应当翻转而未翻转率 $\pi_{\rm miss}$、植入已知错误判定后的检出率 $\rho_{\rm det}$。

第三栏是门—部署口径账，把门所依赖的证据与训练时可得的证据对齐。关键量是零无提示成功占比 $P(k=0)$、$n=3$ 分档的重抽样误分率 $\sigma_{\rm diff}$、可解性证据中仅来自带提示 arm 的份额 $\alpha_{\rm hint}$。

第四栏是分母与排除账，让每个基准的分母随臂固定。关键量是三档排除率 $\varepsilon_{\rm block}$、$\varepsilon_{\rm infra}$、$\varepsilon_{\rm sand}$，按被测模型分行刊出，主表并列给出 failure-inclusive 与 failure-exclusive 两个口径。

第五栏是机制对齐账，把方法主张的能力与产生增益的基准做同向性检验。关键量是接口占比变化 $\Delta_{\rm GUI}$ 与 GUI 类基准增益的符号一致性，以及绕过攻击成功率 $\beta_{\rm bypass}$。

第六栏是规模与成本账，把合成侧的开销与训练侧的开销放进同一个分母。关键量是合成 rollout 数与训练 rollout 数之比 $\rho_{\rm roll}$、接受率与候选池规模、GPU 小时与每点成本。

与既有工作的区别在问法：WildAWM 问「这道门通不通过」，CUA-Gym 问「任务、环境状态、奖励能不能作为已验证三元组产出」，R2E-Gym 问「程序化验证器与执行验证器怎么混合」，PIL 问「门的通过率里有多少能在换掉裁判、去掉提示、补齐分母、对齐机制之后仍然成立」。

技术路线

第一步做判据去同源。把三级判定改写成 3（判据来源）× 2（同源 GLM-5.2 / 非同源）× 2（真值已知 / 真值未知）的因子，在表 6 已用的 100 条抽样子集上先跑，再扩到全 341 条的验证器—轨迹对。非同源裁判取 Opus-5 与 GPT-5.6-Sol，复用论文已有的 harness 组合。加两个退化裁判做空白对照：永远判 completed 的裁判与永远维持自己首判的裁判，前者测验证器的假阳性下界，后者给出 $\pi_{\rm stub}$ 的基线值。主结果从「与裁判多数的一致度」改成按判据来源分列的 $\kappa$ 表，$\Delta\kappa$ 直接可读。

第二步做探针双向化。构造两类探针各 341 条：应当翻转组把验证器某个 criterion 改成恒真（任务未完成也得分），裁判看到相反断言后应当翻到 failed；应当坚持组保持验证器正确，断言相反后应当维持。报 $\rho_{\rm det}$ 与 $\pi_{\rm miss}$。把探针直接接到验证器 V 上，而不是只接在裁判上：随机改写 V 使某个 criterion 在初始态即恒真，看初始不可满足门与探针能否各自发现。这一步的门槛是 $\rho_{\rm det}\ge0.8$ 且 $\pi_{\rm stub}\le0.5$。

第三步做门—部署对齐。把每任务的 6 条 rollout 全部去提示重跑，难度门的 $k$ 从 $n=3$ 提到 $n=6$；刊出 $k$ 的完整分布而不只是 hard / medium 两档，并给出 $n=3$ 相对 $n=6$ 的重抽样误分率。主设计是 2（判据同源 / 非同源）× 2（门的证据含提示 / 不含提示）× 3 个 seed 的因子实验，终点指标是八基准均值加域内 33 条，预算锁死在 8 张 B200 上的等墙钟。折中臂为提示分层披露：hint 分三级，只把最低一级（不泄漏答案键）留给 rollout，用来把被剔除的任务数从 191 条压到可承受范围。

第四步补分母账与重叠审计。O2W 逐条记录被 reCAPTCHA 或访问限制排除的网站数与剩余题数；infra 与沙箱两类排除按被测模型分行刊出；主表改成 failure-inclusive（排除计为失败）与 failure-exclusive（现行口径）双列并行。再做一张集合对撞表：15 个 WebHarbor 镜像站点与 8 个 OOD 基准的站点集合求交，交点逐条列出并给出剔除交点的重算分。这一步不新增实验，只把已有数字摆到能被检查的位置。

第五步做机制对齐与绕过压测。把 GUI / CLI / MCP 三类工具的调用占比列为与分数并列的行为量，按基准分列，检验「GUI 基准涨分」与「GUI 调用占比跌到 1.6%」能否共存。绕过压测直接抄表 18 记下的模式并脚本化：跳过 GUI 直接写网站库表、用 CLI 复述网站数值省掉访问、在任务文本中命名答案键让后续步骤退化成查表。每条已接受任务跑三类攻击，报 $\beta_{\rm bypass}$，门槛 $\le0.1$。再对 RL 轨迹做抽样人工复核，统计「验证器给满分但任务未完成」的比例。

关键技术挑战有四处。第一处是成本：非同源 agent 判定跑全 341 条按论文自陈「代价高，只在合成期用一次」，全量重判会把合成侧开销翻倍；降本只能走按门结果分层的抽样，而分层的前提是先把 $P(k=0)$ 那一批单独分出来，否则抽样会把最需要检查的 191 条稀释掉。第二处是去提示会直接改动任务池：191 条任务的唯一可解性证据来自带提示 arm，去提示后这批任务会被判不可解而剔除，RL 训练池收缩到 120 条量级，增益能否维持在 +10.58 是这一步最大的不确定性，提示分层披露即是为此准备的退路。第三处是探针真值从哪来：已知错误的判定必须错在验证器而非世界状态，否则初始不可满足门与探针会把它归到环境问题，$\rho_{\rm det}$ 会被系统性高估。第四处是机制对齐的统计功效：接口占比是轨迹级量，需要与分基准增益在同一批 episode 上配对，域内 33 条远远不够，只能 pooled 到 8 个 OOD 基准的 episode 上做，且必须报配对后的置信区间。

预期成果

定量目标是给出 $p_{\rm self}$、$\kappa_{\rm ext}$、$\Delta\kappa$、$\pi_{\rm stub}$、$\rho_{\rm det}$、$P(k=0)$、$\alpha_{\rm hint}$、$\varepsilon_{\rm block}$、$\varepsilon_{\rm infra}$、$\varepsilon_{\rm sand}$、$\beta_{\rm bypass}$、$\rho_{\rm roll}$ 十二个数的实测值，其中 $\Delta\kappa\le0.10$、$\rho_{\rm det}\ge0.8$、$\pi_{\rm stub}\le0.5$、$\beta_{\rm bypass}\le0.1$ 是这套门可用的门槛。

按现有数字外推三条：$\kappa_{\rm ext}$ 落在 0.79 到 0.84 区间（表 6 中 GPT-5.6-Sol 与 Opus-5 的 κ 为 0.83 与 0.84，GLM-5.2 为 0.90），$\Delta\kappa$ 落在 0.06 到 0.11，恰好跨过 0.10 的门槛线，判据同源自证这一层需要按实测值判定；$P(k=0)$ 与 $\alpha_{\rm hint}$ 都约 0.56，去提示后训练池收缩约四成，+10.58 是否成立要重测；$\rho_{\rm roll}$ 按 341 × 6 条合成 rollout 与 64 步 × 8 任务 × 4 到 12 条训练 rollout 估算落在 0.8 到 1.7，即「决定用哪些环境」与「在环境里学」消耗同量级的 rollout，而论文只报 8 张 B200，未报墙钟与金额。

定性目标是把合成环境的质量从门通过率升级为可审计的实验量：任何发布「环境—任务—验证器」三元组的工作，都要一并交出判据溯源、探针可辨识、门—部署口径、分母、机制对齐、规模成本六栏。

这套账本与具体方法无关。凡是「生成器写任务、生成器写判定、门筛选、失败后重生成」闭环的合成管线——网页环境合成、终端任务合成、软件工程环境合成、Agent 轨迹筛选——都有同构的不可辨识性，共性缺口也一致：判定者与生成者同模型，门所用的证据比部署时可获得的证据多，失败样本从分母里消失。

相关工作

审计对象是 WildAWM，Agent World Model in the Wild: Computer-Use Agent Environment Synthesis（arXiv:2610.26828，2026-10-19），它给出个人电脑尺度的世界合成与五道执行式质量门。

三元组口径最接近的是 CUA-Gym，CUA-Gym: Scaling Verifiable Training Environments and Tasks for Computer-Use Agents（arXiv:2605.25624，2026-05-25），它把任务、环境状态与奖励作为已验证三元组协同生成，也是本文 OOD 基准之一，其「任务专属注入状态」的中位规模仅 1.1K token，正好为 PIL 的规模栏提供对照锚点。

环境合成规模化的另一条路线是 Agent-World，Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence（arXiv:2604.18292，2026-04-20），它走真实世界依赖更强的合成源，与 WildAWM 的开源模型路线在表 1 中被并列比较。

验证器可靠性这一栏直接沿用 R2E-Gym 的做法，R2E-Gym: Procedural Environments and Hybrid Verifiers for Scaling Open-Weights SWE Agents（arXiv:2504.07164，2025-04-09），它把程序化验证与执行验证混合，是「验证器不是裁判却要当奖励」这一问题的早期答案，PIL 第二步的双向探针即在其混合结构上做。

判据溯源的方法论取自 Agent-as-a-Judge，Agent-as-a-Judge: Evaluate Agents with Agents（arXiv:2410.10934，2024-10-14）。WildAWM 的 agent 裁判自称沿用其多轮检视思路，而该工作本身并未处理「裁判与生成器同模型」的情形，这一格正是 PIL 第一栏要补的。

引用核验记录（2026-10-20 编辑时逐条回源）

审计对象 WildAWM 的全部数字以 arxiv.org/html/2610.26828v1 全文（含正文、附录 A–C 与全部表格）逐字核对，不依赖摘要转述。

本文主张	一手出处	结果
36 人格 / 640 世界状态 / 15 网站 / 8 MCP / 83 技能 / 59.3 MiB	表 2	命中
341 任务、273 hard、68 medium、每世界 0.53 条	表 4	命中
无提示 SR 21.3%、带提示 SR 45.6%	表 4	命中
每任务 6 条 rollout、半带提示、18 组模型—harness	§3.2	命中
生成器 / LLM 裁判 / agent 裁判同为 GLM-5.2	§4 实现细节、附录 A.4	命中
Judge majority 行与 GLM-5.2 行五项数值相同；Opus-5 κ 0.84、GPT-5.6-Sol κ 0.83	表 6	命中
探针通过条件为维持原判；probe fixes 均值 0.18	§3.2、附录 A.4、表 4	命中
门消融 38.49 / 50.17 / 17.17 / 21.59，去门臂 O2W 44.87、OSV 24.09	表 7	命中（均值复算一致）
八基准 42.84 → 53.42、21.83 → 30.04	表 5	命中（两行均值复算一致）
GUI 工具占比 16.3 / 13.6 / 17.2 / 4.3 / 1.6；域内 val 37.3 → 36.0	表 14	命中
表 18 修订分组：接口覆盖 238、难度 201、写入 94、验证器可靠性 19	表 18	命中
reCAPTCHA 排除、infra 与沙箱各 3 次重试后排除、120 步前超时 5.5%	附录 A.1、附录 B	命中
8×B200；SFT 100 任务各 4 条 rollout、至多留 1 条；RL 64 步 × 8 任务、G=4	§4、附录 A.5	命中
全文 “hack” 与 ”±” 计数为 0、未报随机种子与墙钟	全文检索	命中

本轮边界

1. $P(k=0)\approx0.56$ 是由表 4 的 21.3% 与 273 / 68 分档推得，前提是难度门按定义只数 3 条无提示 rollout 且 medium 恰为 $k=2$。论文未直接刊出 $k=0$ 的条数，这条数属于可复算的推定，不是引用值。
2. 附录 A.4 提到「两个提示层级都零完成时先检查非持久写入」（answer-keyed-zero-is-infrastructure，47 次修订），说明带提示 arm 也失败的任务会被当作基础设施问题处理。这不影响 $k=0$ 且带提示成功的那 191 条，但意味着真实任务池的收缩比例要以实测为准。
3. 表 18 只列出 40 条技能中的 20 条，802 次修订的余下 250 次未披露，未列出的 20 条一旦计入，四组分组比例会随之改变。
4. 论文未公开候选池总规模，53% 接受率与 341 条只够推出约 644 个候选，未区分「草图阶段被拒」与「门阶段被拒」，第六栏的接受率应按阶段分列后再测。
5. 未核到的部分：表 19 的技能演化轨迹、附录 A.6 的分段训练实现、表 12 的完整提示词，均未在本文引用。