研究提案已修订

精度是池的函数：验证器定义的 Agent 轨迹语料为何不能跨池标定

提出 PAVA，把检测器定语料的精度显式建成部署池患病率的函数，用可执行环境构造 phantom 探针估 π 与 FPR，并给出「verdict 保持型污染的提纯能力精确为零」这一可证伪推论。

2026年9月12日数据工程 Agent训练数据验证器语料质量 RLVR 奖励黑客数据策展 AI for Science

背景与动机

Agent 训练语料与合成评测集大多不是标注出来的，而是验证器定义的：一个检测器（执行型验证器、模型裁判、hackability 扫描器）跑在一池候选轨迹上，被接受的条目成为语料。Huang 等人（arXiv:2609.11449）给出这类语料精度的闭式表达：

precision = π·TPR / (π·TPR + (1−π)·FPR)

其中 π 是部署池中真阳性的占比。精度是池的属性，不是检测器的属性；跨池可迁移的是 (TPR, FPR) 这一对，精度不可迁移。作者在一个能识别假阳性（phantom）的场景里测了这件事：同一个检测器、三个候选池，phantom 率分别为 81.7%、9.0%、0.0%；把高 π 池的精度迁到低 π 池，预测 0.955 而实测 0.183，误差 +422%，而 Bayes 式在三个池上都落在 3.3% 以内。

这篇论文的 Limitations 第一条把自己限定在幅度阈值型检测器，明确写出「我们的数字不迁移到变点、似然比或学习得到的检测器」。Agent 语料用的恰恰是学习得到的检测器。这个空白不是假设的。BenchShield（arXiv:2609.11028）在附录里测了一个纯轨迹的 LLM 判定器：40 条轨迹、每条 3 次试验，per-trial 准确率 36.4 ± 4.4%，多数投票下假阴性率 65%、假阳性率 62.5%。这是一份稀有的、直接给出学习检测器误判率的测量：假阳性率 62.5% 与假阴性率 65% 均为原文报告值，而 TPR = 0.35 是本文按 1 − FNR 反推的，原文并未直接给出 TPR。它没报的是第五个量——该样本的患病率，而 11449 的报告协议第 3 条要求 π、TPR、FPR、c、ρ 五个一起报。

第二个动机来自「验证器保持」型失败。GenV（arXiv:2609.11085）把这类失败命名为 Verdict-Preserving-Unfaithfulness（VPU）：一个不正确的编码成功执行，并给出与参考形式化相同的判定。作者证明，任何只依赖二元 verdict 的打分函数，在 verdict 匹配的配对上 AUROC 恰为 0.500；其 950 行基准里含 260 个 VPU，患病率 27.4%（本文按 260/950 推算，原文未给出该百分比）；作者自陈这是下界，但这个下界是有范围的——原文的表述是「我们的结果建立在可满足规格上，而该基准几乎全部属于此类；所报的 VPU 患病率在规格本身不可满足时是下界」，也就是说它只在不可满足规格那一角成立，对占基准绝大多数的可满足规格并未作出同类声明。11449 在另一个领域测到同一件事的形状：被检出数据集的响应曲线是真事件分量与 phantom 分量的精确凸组合（残差 1.1×10⁻¹⁶），phantom 473 条多于真事件 308 条——污染不是加在信号上的噪声，是第二条信号，其形状继承自检测器的接受规则。

核心思路

提出 PAVA（Prevalence-Aware Verifier-defined corpus Audit），把验证器定语料的精度显式建成部署池患病率的函数，并把「五个量」变成语料发布时的强制账本。三条主张都可证伪。

主张一：精度是池的函数，不是检测器的函数。 把 BenchShield 报的 (0.35, 0.625) 代进 (1) 式——这一步是 11449 报告协议第 2 条许可的，因为跨池可迁移的正是 (TPR, FPR) 这一对——按其 Table 2 的三个患病率（Terminal-Bench 3 为 252/383 = 65.8%，SkillsBench 为 48/55 = 87.3%，ClawsBench 为 14/18 = 77.8%），同一个检测器的精度分别为 51.9%、79.4%、66.2%。把部署池换成 rejection sampling 常见的低通过率情形（π = 0.05），精度降到 2.9%，跨池相差约 27.7 倍。以上为本文按 (1) 式推算，非任一上游论文报告值；40 条样本的 FPR 置信区间很宽，此处用于示性而非定值。最刺眼的一点落在该语料自身的患病率上：π = 314/456 = 68.9% 时精度为 55.3%，即在一个刻意富集的 adjudicated 语料里，被这条检测器接受的条目也有超过四成是 phantom。

主张二：对 verdict 保持型污染，验证器的提纯能力精确为零。 这是把 GenV 的 AUROC = 0.5 定理翻译成 11449 精度语言的结果。若一类失败的定义就是「与真条目共享验证器输出」，那么在这类条目上 TPR 与 FPR 逐点相等，记共同值为 q。代入 (1) 式：

precision = π·q / (π·q + (1−π)·q) = π

验证器把语料规模缩小 q 倍，把 phantom 的绝对数也缩小 q 倍，phantom 率一动不动。要强调的是，这不等于「验证器没用」：它在可执行性、语法合法性、完整性这些轴上照常工作，只是它的接受规则与被判定为真的条目共享同一个 verdict 通道，于是对这条特定失败轴的选择压为零。GenV 提供了诊断性对照：换成学习得到的参考等价验证器后 AUROC 升到 0.961，TPR 与 FPR 分离，精度重新成为 π 的函数而非恒等于 π。

这条主张把直觉反过来：按验证器分数取 top-k 的筛选，在 phantom 轴上的效果应当恰好为零，不是「有所改善」。这是可直接检验的零假设。

主张三：跨池迁移误差可预测，Bayes 式应当占优。 沿用 11449 的留一池协议：用其余池的精度预测留出池，比较「直接迁移精度」与「迁移 (TPR, FPR) 后代回 (1) 式」两种做法的相对误差。

与组内误差相关（ρ）的区分需要讲清：ρ 描述一个组统计量的方差被低估多少，π 描述被接受集合的均值水平。二者正交——把组内相关性修到零，phantom 率一个百分点都不会降。

退化点：不切池（K = 1）时，PAVA 严格退化为现行的单一精度报告；任何在 K = 1 下测出的「精度改善」都应判为噪声或实现缺陷。

技术路线

第一步：定义池。 按生成轴把语料切成可枚举的池——任务源、难度档、生成器与环境版本、轮次区间、验证器版本。池的定义写进语料卡，且互斥完备。

第二步：构造 phantom 探针，绕开不可识别性。 11449 指出检测器定语料内部的假阳性不可识别，这是结构性的。可执行环境给了出口：用保形扰动造出「已知为假、形态合法」的条目——翻转关系运算符、扰动常量、反转蕴含（GenV 的 mutation 算子即此形式），跑同一个验证器，得到该池的 FPR 侧探针。真值侧用独立仪器（BenchShield 的基础设施侧证据：reward 记录、verifier 输出、宿主机事件）对探针组与随机样本做判定，估 π。两条路径都不依赖模型裁判。

第三步：出五量账本。 每池报 π、TPR、FPR、c（污染率）、ρ（phantom 分量与真分量形状的相关），按 (1) 式给精度，并把精度标注为池属性。ρ 决定给定的 c 是否可容忍：两个分量形状越接近，同样的 c 越难用阈值分开。

第四步：留一池迁移检验。 设三臂对照——A 臂报单一全局精度；B 臂按池报实测精度；C 臂按池报 (TPR, FPR)、用 (1) 式外推。记录 naive 迁移与 Bayes 迁移的相对误差，并检验误差是否随池间 π 差单调上升。

第五步：phantom 轴提纯检验（零假设臂）。 对 verdict-only 准入，预测筛选前后 phantom 率的变动为 0；对被 AUROC > 0.5 的学习验证器准入，预测降幅与其在该池的 AUROC 单调相关。若 verdict-only 臂测到统计显著的下降，说明 phantom 的定义不共享 verdict（VPU 形式不成立），要回头改定义而非改方法。

第六步：过滤规则的支撑集审查。 11449 附录记录了一次自查：一条清洗规则的支持集与事件窗相交，于是它成了对目标信号的选择性删除——污染的同构体，符号相反。Agent 域的对应风险是任何按步数、token 数、位置切分的过滤：BenchShield 测到 exploit 的中位首次尝试在归一化位置 0.60、首次成功在 0.76，agent 先做正经工作再下手。任何支撑集落在 [0.5, 1.0] 的切分规则都会优先删掉真正的工作段。

关键技术挑战有四条。 其一，selection-conditioned null 只复现形状不复现水平——11449 Limitations 第四条自陈此点，故报告必须形状与水平分离。其二，构造出的 phantom 分布与自然发生的 phantom 分布不同源，需要分布匹配的敏感性分析。其三，per-item 归一化陷阱：11449 第 3.4 节证明按有符号、零均值分母逐条归一化会使估计量的期望不存在，同一批 335 个事件上它返回 0.40 而良定义估计量返回 0.10；Agent 域里按每条轨迹的步数或 token 数归一化奖励属同一族，需换成分池分母。其四，跑 oracle power check（11449 报告协议第 7 条）：先算给定完美真值时任何方法能达到的界，若与基线落在种子噪声内，则该配置区分不了方法，这是设计的属性而非方法的属性。

预期成果

定量目标三条。一是在不少于三个池上给出五量与 (1) 式精度，naive 跨池迁移的相对误差显著大于 Bayes 迁移，量级对标 11449 的 +422% 对 −3.3%。二是 phantom 轴提纯检验：verdict-only 臂筛选前后 phantom 率差值的 95% 置信区间覆盖 0；学习验证器臂的降幅与其池内 AUROC 的秩相关系数大于 0.6。三是留一池误差随池间 π 差单调上升的秩相关系数大于 0.6。

定性交付物是一份池级语料卡模板与五量账本格式，可直接挂到现有合成语料与 RLVR 数据管线的发布环节。

影响落在两处。对 Agent RL：若 phantom 率在验证器准入下确实不动，那么「多跑 rollout 换更干净的语料」这条默认补救对这类失败无效，需要的是第二条去相关的判定通道，而非更大的采样预算。对 AI for Science 与代码生成：任何以「执行通过」为真值的语料适用同一套账本，判据是 phantom 是否具备 verdict 保持性质。

局限性与风险

主张一依赖的「(TPR, FPR) 可跨池迁移」对学习检测器是未证假设（最高优先级）。11449 的 Limitations 第一条明确写「我们的数字不迁移到变点、似然比或学习得到的检测器」，而本文主张一恰恰把 BenchShield 的 (0.35, 0.625) 迁到三个患病率上——用来补 11449 空白的那一步，本身落在 11449 自己声明的适用范围之外。它仍是一个可检验的猜想（学习检测器的 (TPR, FPR) 是否随池而变，正是第三步账本要测的量），但 51.9% / 79.4% / 66.2% 三个数应统一标注为条件于跨池不变性的预测，而非已证事实。建议把该不变性本身列为第四步的第零个待检假设。
整条推算链的置信区间未传播。BenchShield 的纯轨迹判定器只有 40 条轨迹 × 3 次试验：FPR 62.5% 在 40 条样本上的标准误约 7.7 个百分点，FNR 65% 对应 TPR 的标准误约 7.5 个百分点。两者同时传过 (1) 式，π = 0.658 池的精度 51.9% 的粗略 95% 区间约落在 43%–60%。这不改变「跨池相差 27.7 倍」的定性结论（低 π 池的 2.9% 与高 π 池的 79.4% 相距远超区间宽度），但足以让主张三在单池上的定量比较失去分辨力。第三步应把 FPR 与 TPR 各报 bootstrap 区间，并让 (1) 式输出区间而非点值。
π 的定义域：adjudicated 语料 ≠ 部署池。314/456 = 68.9% 来自一个按基线均衡与裁决可行性构造的研究语料，不是任何真实部署池的患病率。由此得到的 55.3%，其准确含义是「在这份刻意富集的语料上，被这条检测器接受的条目中仍有超过四成是 phantom」——一条关于检测器与语料的事实，不能读作「某条生产管线的语料精度是 55.3%」。语料卡模板应把「池内 π 必须现场估计、不得从 adjudicated 语料借用」写成硬约束。
主张二的「精确为零」依赖 VPU 定义在目标域成立。GenV 的定理针对形式化领域里「与参考形式化给出相同判定」的编码；Agent 领域的对应物在结构上同构，但同构不等于同一定理——定理要求配对在 verdict 上逐点相等，而 Agent 语料的 verdict 通常是向量（通过测试数、过程奖励、hackability 分）而非标量，「共享 verdict」需要重新定义。判据：若 verdict 是向量值，定理须先推广，否则第五步的零假设在 Agent 域上无法被真正检验。
构造 phantom 与自然 phantom 不同源的误差方向是安全的。保形扰动若偏离自然发生分布，估出的 FPR 会系统性偏低，使 (1) 式算出的精度系统性偏高——误差方向与本文要证明的方向相反，会削弱而非夸大结论。这属于相对安全的一类偏差，但报告必须显式写出方向，读者才能判断结论是被低估还是被高估。

负结果预案：若第五步 verdict-only 臂测到统计显著的 phantom 率下降，说明 Agent 域的 phantom 并不共享 verdict 通道，主张二在本域不成立。此时 PAVA 退化为纯账本工具（仍有独立价值），但「提纯能力精确为零」这一最强结论应当撤回，改写为「在本语料上未观测到 verdict-only 提纯」。