研究提案已修订

生成器轴 soundness 审计：当 RLVR 的真值由模拟器签发时，如何测量被转移到生成器上的优化压力

针对合成真值 RLVR（把注入模拟器的隐藏干预当 oracle 标签）提出 GASA 审计框架：把生成器配置写进数据账本，用免裁判的可执行检验与按生成器配置留出的评测协议，测量被验证器 soundness 仪器漏掉的生成器特异增益。

2026年9月10日 RLVR 合成数据 Agent 训练数据奖励 hacking 可验证奖励数据工程诊断推理

背景与动机

RLVR 的扩张边界由「验证不对称」划定：数学有答案校验器，代码有单元测试，诊断型推理的任务——判断某个指标异常的真实成因——既没有廉价校验器，事后归因也常常存疑。TRACE（arXiv:2609.10315）给出的解法是把这种不对称制造出来：先从 12 类根因里采样一个干预，注入受控模拟器，生成它本应产生的观测，再把被隐藏的干预留作 oracle 标签。5,000 条经 oracle 验收的 episode 切成 4,472 条训练与 528 条验证，Qwen3.5-35B-A3B 经 SFT 到 0.637，再经 RL 到 0.757 FullAttr@1，高于 Claude Opus 5 的 0.686。

代价藏在「oracle」这个词里。此处的验证器读的就是生成器的隐变量，验证器—真值相关 ρ 在构造上恒等于 1，hacking gap 在任何 N 下恒等于 0。Proof-Carrying Cognition（arXiv:2609.09776）建立的整套 soundness 仪器测的正是这个量：它证明不可靠验证器在 best-of-N 压力下相对 soundness 从 0.94 掉到 0.32（N=4096），而现实锚定的 settlement 把 hacking gap 从约 0.27 压到约 0。把这台仪器搬到 TRACE 上，它会在每一个 N 上读出「sound」之后停止工作。停下来的原因不是没有问题，是 PCC 的定义把「真值由外部现实签发」当成了常量，而 TRACE 把真值换成了模拟器参数。

PCC 在局限节里点出了它没测的区间：最关键的是「tasks at the judge’s capability frontier under RL-scale optimization pressure」，以及未对「端到端针对 settlement 过程训练的学习型对手」做测试。TRACE 落在两条的交集上。当真值由生成器签发，压力就离开了验证器，落在唯一剩下的自由曲面上：从生成器参数到观测的渲染映射。现有两台仪器一台测 ρ（恒为 1），一台测 episode 层面的留出——§3.2 明写不相交发生在 episode、campaign、intervention 三个层面，三个轴都在生成器内部。生成器配置本身既没被留出，也没被记录进账本。

TRACE 的表里已经有一条指向这里的观测，作者把它记为权衡而不是缺陷：no-signal episode（N=20）上，SFT 的 FullAttr@1 是 0.76，SFT→RL 掉到 0.49；20 集 × 5 条保存轨迹得到的 100 条里，SFT→RL 只预测了 49 次 no_signal，SFT 是 76 次。对照列里 Opus 5 是 0.87、Sonnet 5 是 0.85、Qwen3.5-122B-A3B 是 0.78——三个在 FullAttr@1 上都输给 SFT→RL 的模型，在弃权这一项上全部反过来赢它。加 KL 惩罚后 no-signal 进一步掉到 0.30。一个赢了所有前沿闭源模型的策略，在「证据不足时应当弃权」这件事上退回到基座模型（0.41）附近。

核心思路

提出 GASA（Generator-Axis Soundness Audit，生成器轴 soundness 审计）。它不替换 TRACE 的管线，只往里加三个部件：一份把生成器配置写成一等字段的账本、一组不需要裁判模型的可执行检验、一套按生成器配置而非按 episode 留出的评测协议。

部件一是生成器轴账本与正交性审计。TRACE 生成管线分三级：campaign population、intervention sampling、metric simulation。GASA 要求枚举全部自由参数 g = (干预先验 π、噪声强度 σ、混淆强度 κ、时间 onset 分布、证据窗口长度、渲染种子族、验收门限 τ)，对每一维估计它与 oracle 标签的互信息 I(g_i; c*)，把 I≈0 的归为 nuisance 轴、I>0 的归为难度轴。这一步的必要性由原文一句话直接给出：TRACE 写「Episode difficulty is controlled by two cause-conditioned axes」——维度复杂度（where：切片落在 1 个属性还是 2 个属性的交）与时间复杂度（when：onset 是 immediate、delayed 还是 ramping），两条都以 cause 为条件。§2.5 提到模拟器还变化 noise 与 confounder，但 §3.2 的分层键只有 cause、signal level、slice complexity。结果是：语料里所有被系统记录和分层的轴都是标签的函数，与标签正交的那部分方差既没进分层键，也没进评测口径。

部件二是三个免裁判检验。这份语料是可执行的，三个检验都不经过模型裁判：

nuisance 敏感度 NSR。固定 (c*, 切片维度) 单元，在保持可观测因果签名统计量不变的前提下置换 nuisance 变量（噪声种子族、事实表行序、campaign 标识、证据窗口起点），测预测变化率。策略若靠因果签名归因，置换不该改变预测；策略若学到渲染痕迹，置换会翻转预测。
边际先验偏移。比较 KL(P̂_policy(c) ‖ P_test(c)) 与 KL(P̂_policy(c) ‖ P_train(c))。后者更小意味着策略的边际输出在向训练期的干预先验靠拢，而不是向评测期的真实先验靠拢。
弃权截距。把「信号强度」做成连续轴而非二值 no-signal 类，测归因率随真实信号强度的函数，取 s→0 处的截距。截距为正就是过度归因的质量。TRACE 给出的离散版本（0.49 对 0.76）是这个连续曲线的两个点。

部件三是cross-generator 留出。留出对象从 episode 换成生成器配置：训练集占噪声—混淆网格的一半，评测集占另一半，两者的 (c*, 维度复杂度, 时间 onset) 分布保持一致。报告 Δ = FullAttr@1(in-generator) − FullAttr@1(cross-generator)。

与现有工作的关键区别有三条。PCC 的 soundness 是验证器与真值之间的一元关系，GASA 把它扩成 (策略, 生成器配置) 的二元关系；PCC 靠外部现实标签做 settlement，GASA 在拿不到外部标签时也运转，压力源来自生成器自身的正交轴。TRACE 的留出发生在生成器内部的三个层面，GASA 要求第四个层面——生成器配置本身。Environments as Scaffold（arXiv:2609.08404）改的是环境给策略的输入（action guidance 转为 observation enrichment），GASA 改的是环境的生成参数，且只用于审计、不改训练。

技术路线

第一步，轴清单与互信息标定。 复现 TRACE 的三级生成管线，把自由参数摊平成 g，用重生成估计 I(g_i; c*)。产出一张标注了每维与标签相关性的轴表。

第二步，配对重生成。 对每个 (c*, 维度复杂度, 时间 onset) 单元，在 nuisance 轴上做 k 次重生成，得到签名同分布、nuisance 不同的配对集。配对集必须通过 §2.5 的 oracle 验收门，否则不可比。

第三步，在两个 checkpoint 上跑三个检验。 SFT-only（0.637）与 SFT→RL（0.757）各测一遍 NSR、先验偏移、弃权截距。两个 checkpoint 的差值才是 RL 引入的成分，绝对值没有归因意义。

第四步，cross-generator 留出与 Δ 估计。 按噪声—混淆网格切分，两个 checkpoint 各测一次，报告 Δ。

第五步，把 PCC 的 on-policy settlement 移植到生成器轴。 PCC 报 on-policy settlement 比随机标注高一个数量级的标签效率（150 条 on-policy 得 0.617，优于 1,500 条随机的 0.595；预注册复现里 S=300 的 on-policy 打败 S=3,000 的随机，p=3.7×10⁻⁴）。移植方式是把「被结算的条目」从样本换成生成器配置：把稀缺的外部真值预算投到模拟器分数与外部分数分歧最大的配置上。这一步必须带上 PCC 自己的负结果——在真实代码上该结论第二次失败（on-policy@240 AUC 0.144 对 random@720 的 0.170，p=0.64），作者归因于「验证器太弱时它的选择不是值得结算的位置」。所以第五步是待检验的假设，不是可继承的结论。

关键技术挑战有四个。 nuisance 轴清单无法先验证明完备，渲染映射的泄漏面也一样，NSR 的残差只给得出下界。正交性会随 c* 漂移：某些 nuisance 在特定 cause 下会退化成签名的一部分，互信息必须按 cause 分层估而不是全局估。重生成会破坏可解性验收门，签名同分布与「同验收门下通过」两个约束是否相容，需要实测。外部真值极度稀缺时，settlement 预算的分配本身就是一个 bandit 问题，而奖励信号（模拟器分数与外部分数的分歧）只在被选中的配置上才观测得到。

预期成果

定量目标。 生成器敏感度指数 GSI：在每个旋钮上扫网格，报告 FullAttr@1 的斜率与半衰点（衰减到一半所需的旋钮距离），SFT 与 SFT→RL 各一条曲线。三个免裁判检验在两个 checkpoint 上的差值。Δ 的判据是现成的：0.757 − 0.637 = 0.120，若 Δ ≥ 0.120，则 RL 带来的增益全部落在生成器特异成分上；若 Δ ≤ 0.03，则增益基本可迁移。

四条可证伪预测。 P1：GSI(SFT→RL) > GSI(SFT)，即 RL 提高策略对生成器的特异度。P2：弃权截距为正，且 SFT→RL 的截距大于 SFT。P3：Δ ≥ 0.06。P4 是 P1 的对称证伪条件——把干预先验拉平、渲染去相关后重跑，若 SFT→RL 仍得 0.757 且 no-signal 仍为 0.49，则过度归因不是生成器先验的产物，本提案对现象的诊断被推翻，只保留测量协议的贡献。

定性目标。 把 no-signal 从 0.49 拉回 0.70 以上，而 FullAttr@1 的跌幅不超过 0.03。做到这一点的路径是把弃权显式写进奖励：现在 r = 0.65·r_attr + 0.30·r_full + 0.05·r_fmt，no-signal episode 上 r_slice 按定义取 1，奖励退化为 1{ĉ = c*}，弃权与猜错在组内归一化下没有区别。

影响。 TRACE 结论节自己列了三条开放项——扩展干预族与 held-out root causes、在噪声/混淆/证据可用性上做系统课程、研究哪些诊断程序能跨环境迁移。三条都指向同一个缺失：一条与标签正交的变化轴。GASA 把这份缺失变成可执行协议，也给「合成真值 RLVR」这一类方法配上一台能在 ρ≡1 时继续工作的 soundness 仪器。

局限性与风险

全部定量判据建立在单种子点估计上（最高优先级）。0.637、0.757、0.49、0.76 均来自 TRACE 的单次运行，提案据此给出的 Δ 判据（≥0.120 视为增益全部落在生成器特异成分，≤0.03 视为基本可迁移）没有置信区间。若 RL 训练自身的种子方差达到 ±0.02 量级，「0.120」这个基准本身就会漂移，两个阈值之间的判别不可靠。建议在第四步为 SFT 与 SFT→RL 各跑不少于 3 个种子，把 0.120 换成带标准误的区间，Δ 的判据改为与区间比较而非与点比较。这一条直接影响 P1 与 P3 的检验力，应当优先于其他步骤确定。
GSI 的「半衰点」对离散轴不适用。半衰点定义为”衰减到一半所需的旋钮距离”，对噪声强度 σ、混淆强度 κ 这类连续旋钮成立，但轴清单里的渲染种子族、campaign 标识是离散的，没有可定义的距离。建议为离散轴改用”跨取值的预测方差”或”最坏取值对的差值”作为替代指标，否则 GSI 只能在部分轴上算得出来。
P4 的证伪条件成本未估。把干预先验拉平、渲染去相关后重跑，意味着重跑整条 RL 管线。更关键的是”渲染去相关”本身能否构造——是否可能在保持任务可解与 oracle 验收门通过的前提下，让渲染痕迹与标签去相关——提案没有论证。若这个构造不成立，P4 就无法执行，本提案对现象的诊断将停留在不可证伪的相关性陈述上。
0.70 这个弃权目标是外推而非推导。它落在 SFT 的 0.76 与基座模型的 0.41 之间，直觉上是”恢复到 SFT 水平的九成”，但提案没有给出为何把弃权显式写进奖励后，能一并满足”FullAttr@1 跌幅不超过 0.03”的机制论证。建议改为区间目标，并报告 (弃权率, FullAttr@1) 的帕累托前沿，而不是一个单点。
nuisance 轴清单无法先验证明完备，渲染映射的泄漏面同样不可穷举，NSR 的残差就只给得出下界；正交性会随 c* 漂移，互信息必须按 cause 分层估；重生成与可解性验收门是否相容需实测；外部真值极度稀缺时 settlement 预算分配本身是一个 bandit 问题——以上四条技术路线已述，此处不重复展开。

负结果预案：若第三步两个 checkpoint 的三个检验差值均不显著，则本提案的核心假设（RL 把优化压力转移到生成器轴）不成立，此时 PCC 在 ρ≡1 下”读出 sound 后停止工作”的现象仍需解释，但解释方向要转向 episode 层面的记忆化，而非生成器先验。第五步（on-policy settlement 移植）本就标注为待检验假设，必须带上 PCC 自己在真实代码上第二次失败的负结果（on-policy@240 AUC 0.144 对 random@720 的 0.170，p=0.64）。