信息增益奖励为何被代码池绑定：自对弈代码 RL 中测试套件的冻结探针审计与去偏

背景与动机

自对弈代码强化学习把「正确性说明」从数据集附带的固定测试集移到模型自己身上：单一策略在同一套权重下扮演 coder 与 verifier 两个角色，自己出题、自己判卷。CoVer（arXiv:2609.21208，UT San Antonio / Secure AI and Autonomy Lab）给出了目前最完整的一套内环方案，并点名两类失效：permissiveness collapse（pass-rate 类奖励被恒通过的平凡测试最大化）与 concentration bias（i.i.d. 采出的测试簇集在模态输入上，执行表列高度相关）。对应两味药：一是协方差符号门控的信息增益（IG）奖励，把每条自生成测试的得分定义为它的通过/失败列与分级 GT 锚定正确度向量 $y\in[0,1]^m$ 之间的互信息；二是三级多样性剪枝（无效性过滤、输入串去重、执行剖面去重），在固定执行预算下把有效样本量从 $k_{\mathrm{eff}}\approx k/(1+(k-1)\bar\rho)$ 推向 $k$。配置为 $m=16$ 条候选代码、$K=32$ 条采样测试、保留 $k=16$ 条、350 步训练，IG 用 $2\times(G_\tau+1)$ 列联表上的 plug-in 估计量。7B/14B 上宏平均 pass@1 达 35.94% / 42.90%。

问题出在 IG 的两个自变量都来自同一步的采样。执行表 $E$ 的列由当前策略采出的 $m$ 条代码与 $K$ 条测试共同决定，$y$ 又由同一批代码对 GT 的通过率决定。奖励值于是是「当前代码池 × 当前测试池」这一对的联合统计量，不是测试自身的属性。三处后果逐一展开。

第一处是天花板。$I(E_{:,j};y)\le\min\bigl(H(E_{:,j}),\,H(y)\bigr)\le H(y)$，而 $H(y)$ 只由代码池决定，与测试无关。CoVer 自己点出过这一项：二值 $y$ 在训练早期因几乎没有代码通过全部 GT 测试而 $H(y)\approx 0$，IG 奖励整体消失；分级 $y$ 把坍缩从训练起点推迟。推迟不同于移除——代码池整体向 $y=1$ 收敛时 $H(y)$ 在训练末段再次趋于零。$k_{\mathrm{eff}}$ 不出现在上面那个界里，它降的是估计量的方差，动不了被估计量的上界。

第二处是偏差。Paninski / Miller–Madow 的标准结论给出 plug-in 估计量高估的量为 $(\hat R-1)(\hat C-1)/(2m)$ nats，$\hat R$、$\hat C$ 是联合表中边际非空格数。CoVer 的 Table 8 把偏差校正一栏明写为「none (finite discrete support)」——离散支撑消掉的是分箱偏差，消不掉抽样偏差。取 $m=16$、$\hat R=2$，偏差为 $(\hat C-1)/32$ nats，$\hat C$ 是池内实际出现的不同正确度档位数，上界 $\min(m,G_\tau+1)=16$，故偏差上界 $15/32=0.469$ nats；二元列可达的最大互信息是 $\ln 2=0.693$ nats。偏差能吃掉信号全程的 68%（本文按上述标准结论推算，非论文报告值）。更麻烦的是它在两组测试间不对称：列恒定的测试 $\hat R=1$，偏差恰为零；列不恒定的测试拿满 $(\hat C-1)/32$。组归一化减均值消不掉这一项，它按代码池的档位数把两组测试的奖励差距撑开。

⚠️ 偏差上界需按稀疏列联表修正（2026-09-22 审阅）：上段把 $(\hat C-1)/32$ 直接推到 $\hat C=16$ 得 $15/32$ nats，这一步默认了联合表全格非空（$\hat S=\hat R\hat C$）。而 Miller–Madow 的一般形式是 $\bigl(\hat S-\hat R-\hat C+1\bigr)/(2N)$——只有 $\hat S=\hat R\hat C$ 时才化为 $(\hat R-1)(\hat C-1)/(2N)$。此处 $N=m=16$ 个样本、$\hat R=2$，联合表共 $2\hat C$ 格，全格非空要求 $2\hat C\le16$，即 $\hat C\le8$。

代入一般形式并按 $\hat S\le\min(N,\hat R\hat C)$ 取最大：

• $\hat C\le8$（表可填满）：偏差 $=(\hat C-1)/32$，峰值在 $\hat C=8$，为 $7/32\approx0.219$ nats；
• $\hat C>8$（表必然稀疏）：偏差 $\le(15-\hat C)/32$，随 $\hat C$ 单调下降，$\hat C=16$ 时转为负值。

于是可实现的偏差峰值约为 $0.22$ nats，占 $\ln2$ 的约 32%，而非文中的 0.469 nats / 68%。方向性结论（偏差吃掉信号全程的相当一部分、且在两组测试间不对称）不受影响，但 68% 这个数字高估了约一倍，P1 的定量预测也应同步改用 $\hat C\le8$ 区间的 $(\hat C-1)/32$ 或直接改用置换零假设的实测值作基准。

置换零假设为何是合法估计量（这一点原文未展开，值得补上）：Miller–Madow 偏差只通过非空格计数 $(\hat S,\hat R,\hat C)$ 依赖真实分布。在代码维度上置换 $y$ 不改变任何一列的边际，也不改变非空格结构——置换前后 $(\hat S,\hat R,\hat C)$ 同分布。所以 $\hat I_{\mathrm{null}}$ 读到的确实是同一个偏差项，而不是”独立情形下的偏差”。这比”用 $\hat C$ 查表代入公式”更稳：公式依赖的稀疏/稠密形态由置换自动保留。

第三处是身份。第三级去重判定两条测试等价的判据是「在当前候选集上签名相同」，原文即 functionally equivalent with respect to the current candidate set。代码池一步一变，等价关系跟着变，套件的组成跨步不守恒。全文检索 frozen、non-stationary 均为零命中。

判别力与多样性本就是两个轴，这一点有独立的测量证据（arXiv:2609.21277）：同一组 32 名评委面板在三个 ChaosNLI 任务上给出 $\nu_H=4.24$–$6.50$ 而 $\nu_{\mathrm{MSE}}=2.30$–$3.75$，原文写明 greater spectral diversity can accompany worse distribution recovery，并总结 effective size is a target-specific measurement。CoVer 的 $k_{\mathrm{eff}}$ 落在谱/行为多样性轴（唯一执行剖面数），被估计的目标落在判别恢复轴。

CoVer 自己的反例已经印在附录 E.4：代码 #7 用重绑定代替拷贝（aliasing bug），通过了全部 16 条入选测试，却在 8 条 GT 测试中失败 4 条，即 $y=0.5$，正落在中间档而非边缘。该套件含 16 个不同输入、16 个不同执行剖面，三级过滤器全部无责，多样性准则取到上界。作者的归因是 The limitation lies in the depth of the generated tests rather than in the selection step。换成本文的语言：剖面多样性饱和之处，判别力仍可为零；而一个 $y=0.5$ 的代码被全票接受，正是 IG 奖励设计出来要消除的那类事件。

第三根支柱来自奖励尺度。arXiv:2609.19164 指出 GRPO 的组内标准差分母 can amplify tiny gaps without bound，并把 sub-resolution jitter 与 credible small gaps 分开处理。IG 随 $H(y)$ 收缩后整体进入该区间；CoVer §3.5 又明写 tasks with zero reward variance are dropped from that role’s update，于是 verifier 角色在 $H(y)\to 0$ 的任务上静默停更——那恰是覆盖最容易悄悄流失的位置。

核心思路

提出 FROST（Frozen-probe, Resolution-aware Off-policy Suite Tracking）：把「测试套件的判别力」从当前步的联合统计量里解耦出来，改到一把跨步固定的尺子上读。三个解耦组件。

冻结探针池 $P_0$。训练第 0 步用初始策略采一批代码，叠加一组变异体（对正确解做语义破坏的小编辑，如 E.4 的别名 bug、边界条件改写、操作顺序重排），固定下来不再更新。$P_0$ 的正确度由 GT 测试直接给出，无需裁判模型。

置换零假设。对同一步已经算好的执行表 $E$，把 $y$ 在代码维度上随机置换后重算 $\hat I_{\mathrm{null}}$。真互信息在置换下为零，$\hat I_{\mathrm{null}}$ 读的就是纯偏差。这一步不新增任何 sandbox 执行——$E$ 已经在手上，只换 $y$ 的配对顺序。

双池互信息。$\hat I_{\mathrm{mix}}=\alpha\,\hat I(E_{P_0};y_{P_0})+(1-\alpha)\,\hat I(E;y)$，$\alpha=0$ 严格退化为 CoVer 原协议。冻结池把奖励的一部分锚定在跨步不变的代码上，使 IG 重新成为测试的函数。

与现有工作的边界：CoVer 把测试选择当成方差问题，本文把它当成仪器可迁移性问题；CURE 与 Sol-Ver 的覆盖率子采样是在单条解上算覆盖，FROST 的检出率是在冻结反例集上算；2609.21277 的「有效样本量是目标相关的测量」从评委面板搬到测试套件；2609.19164 处理低方差的尺度，本文处理低方差的来源（$H(y)$ 与偏差项），两者串联——FROST 修复后残余的低方差组再交给 Reward-Resolution Protocol 与 MaxNorm-AC。

技术路线

第一步，离线构建 $P_0$：初始策略采样加多族变异算子（别名/共享状态、边界与空输入、操作顺序重排），按算子族分桶登记，规模与单步活跃池同量级。

第二步，每步复算三项仪表，全部只需 sandbox 执行、无需裁判：检出率 $D_s$（$P_0$ 中 $y<1$ 的代码里至少被一条入选测试拒绝的比例）；活跃池上的 $\hat H(y)$；置换零假设偏差 $\hat I_{\mathrm{null}}$（多次置换取均值）。

第三步，偏差入账并校正：$\hat I_{\mathrm{MM}}=\hat I-\hat I_{\mathrm{null}}$，$\hat I_{\mathrm{null}}$、$\hat C$、$\hat H(y)$ 一并写入日志。这一步替换的是 Table 8 里那一行「none」。

第四步，双池互信息加覆盖保持项：$r(t_j)=\hat I_{\mathrm{mix}}+\lambda\,D_s$，$\alpha$ 与 $\lambda$ 二维扫参。$\alpha=0$ 且 $\lambda=0$ 时严格退化为 CoVer，构成结构性退化点。

第五步，低方差路由：组内奖励方差低于分辨率阈值的任务，按 2609.19164 的 Reward-Resolution Protocol 丢弃或改用 MaxNorm-AC，避免残余抖动被 $1/\sigma$ 无界放大。

四臂对照：A 原 CoVer；B 仅偏差校正；C 偏差校正加双池 IG；D 再加覆盖保持项。

关键技术挑战有四项。变异算子决定可见的失败模式，$P_0$ 的构造本身带偏差，故按算子族分层报告而非只报总量。冻结池与活跃池分布不同，默认只把 $P_0$ 当仪器、不当训练信号，需要当信号时须加重要性权重。$\hat C$ 小时置换零假设功效不足，用多次置换取均值并报告置换分布的标准误。双池 IG 的执行成本是 $|P_0|\times k$ 次额外 sandbox 调用，相对原有的 $m\times k$ 增加 $|P_0|/m$。

预期成果

主假设：在 CoVer 原协议的 350 步内，$D_s$ 单调下降，而 benchmark pass@1 上升——两条曲线分离即为判别面随代码池收缩的直接证据。

四条可证伪预测。P1：$\hat I_{\mathrm{null}}$ 的实测均值按 $\hat C$ 分档接近理论值——$\hat C\le8$ 时接近 $(\hat C-1)/32$，$\hat C>8$ 时不超过 $(15-\hat C)/32$（分档理由见上文 ⚠️ 修正块）；任一分档内偏离超过 2 倍即说明偏差模型不适用于该列联表，本文第二处论证告失效。P2：C/D 臂在宏平均 pass@1 相对 A 臂不掉出 1 个百分点的前提下，把 $D_s$ 的下降幅度收窄一半。P3：$\alpha$ 扫描的最优值非零，且 $\alpha=0$ 与 $\alpha=1$ 都劣于中间值。P4：$\hat H(y)$ 与平均 IG 的相关为正；不正则天花板论证不成立。

退化自检：$\alpha=0$、$\lambda=0$ 时 B/C/D 与 A 的差异应落在两次独立训练 run 的噪声带内，论文 Table 11 给出的噪声带是 7B 两次 run 差 0.61 个百分点、14B 差 0.35 个百分点。

若成立，自生成测试套件从训练副产品变成可审计、可导出的数据资产：套件的判别力有了跨步可比的单位，换骨干、换阶段、换任务都不必重选，评测端的固定测试集与训练端的自生成套件第一次能放在同一把尺子上比较。

局限性与失效模式

FROST 修的是读数，不是信号。 偏差校正降的是 $\hat I$ 的系统性高估，动不了 $H(y)$ 这条天花板。若 IG 在训练末段消失的主因是代码池向 $y=1$ 收敛，A 臂到 B 臂的收益趋近于零——四臂对照里 B 臂的作用正是把这个区分量化出来。B 臂无收益不代表 FROST 失败，只代表诊断出的病不是这一味药能治的。

$P_0$ 的构造偏差与生命周期两难。 变异体是人工合成的缺陷，其失败模式分布与真实模型缺陷分布不同，$D_s$ 高只说明能检出这一类缺陷。更深的一层是漂移：$P_0$ 固定于第 0 步策略，训练数百步后活跃池早已远离它。周期重建 $P_0$ 破坏跨步可比性，不重建则 $D_s$ 在训练后期饱和、不再有分辨力。可操作的折中是并行维护两代 $P_0$，在重叠期内同时读数并校准换算系数。

$D_s$ 的标注依赖未被消掉。 $y_{P_0}$ 由 GT 测试定义，GT 自身的不完备同时污染 $D_s$ 的分子（“被至少一条测试拒绝”）与分母（“确实 $y<1$”）。CoVer 的 E.4 案例恰好是 GT 与自生成测试给出相反结论的样本，说明这种污染不是理论顾虑。缓解办法是只统计与 GT 无争议的那部分 $P_0$ 成员，或报告 $D_s$ 的 GT-置信区间。

$\alpha=1$ 处 FROST 自我消解。 冻结池完全主导奖励后，verifier 可以专门过拟合 $P_0$，冻结探针退化成另一套固定测试集，自对弈的意义随之消失。这正是 P3 预测中间值优于两端 $\alpha$ 的机制，也说明 $\alpha$ 的上界不该只由扫参给出，应由”verifier 在 $P_0$ 上的过拟合速率”独立界定。

P2 的统计功效不足。 P2 的容忍带是 1 个百分点，而论文 Table 11 给出的 run-to-run 噪声带是 7B 差 0.61、14B 差 0.35 个百分点，二者同量级。单次 run 无法可靠判定”相对 A 臂不掉出 1 个百分点”这一事件，需要至少 3 个 seed 取均值，或改用同一 seed 下的配对差以抵消 run 间方差。

偏差峰值的规模依赖构成竞争性解释。 由一般形式 $(\hat S-\hat R-\hat C+1)/(2N)$、$N=m$、$\hat R=2$ 出发，峰值落在 $\hat C^*=\min(m/2,\;G_\tau+1)$，两条渐近：

• $G_\tau+1\le m/2$：峰值 $=G_\tau/(2m)$，随 $m$ 增大而衰减——加大 $m$ 本身就是比 FROST 更廉价的缓解路径；
• $G_\tau+1>m/2$：峰值 $=\tfrac14-\tfrac{1}{2m}$，随 $m$ 增大缓慢上升并趋于 $1/4$ nats（$\ln2$ 的约 36%），此时加 $m$ 无效，必须用偏差校正或换估计量。

两条渐近说明 $m=16$ 不是最坏情形，FROST 的收益幅度取决于 $G_\tau$ 与 $m$ 的相对关系，实验须按该关系分层报告（本文按标准结论推算，非论文报告值）。

校正对象仅限 plug-in 估计量。 置换零假设校正的是 plug-in 估计量的抽样偏差；换成 KSG 类 $k$-NN 估计量或压缩估计量后，偏差形态与稀疏响应完全不同，$\hat I_{\mathrm{MM}}=\hat I-\hat I_{\mathrm{null}}$ 的定义需重做，不能沿用。

相关工作

1. Ana Nunez, Peyman Najafirad，《Information-Gain Rewards over Diversity-Pruned Tests: GT-Anchored Verifier Co-Training for Reliable Code Generation》，arXiv:2609.21208 — https://arxiv.org/abs/2609.21208 。本文的主锚点，其 IG 奖励、三级剪枝与附录 E.4 失败案例构成本文全部论据来源。
2. Chao Li, Yingying Yu, Yunfeng Li，《How Many Humans Is a Judge Panel Worth?》，arXiv:2609.21277 — https://arxiv.org/abs/2609.21277 。给出 $\nu_H$ 与 $\nu_{\mathrm{MSE}}$ 的双轴分离，是「有效样本量为目标相关量」的直接依据。
3. Fei Ding 等（阿里巴巴、清华大学），《Advantage Scale Calibration Imbalance in Group-Relative Optimization under Low-Variance Rewards: Diagnosis and Bounded Recovery》，arXiv:2609.19164 — https://arxiv.org/abs/2609.19164 。低方差区的优势尺度失衡诊断与 Reward-Resolution Protocol / MaxNorm-AC。
4. Qiang Zhang 等，《ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open-Ended Agent RL》，arXiv:2609.21378 — https://arxiv.org/abs/2609.21378 。技能库按组内使用归因做效用估计并据此剪枝，与本文同源的非平稳结构，用于对照「池依赖剪枝」的一般性。
5. Sy-Tuyen Ho, Minghui Liu, Furong Huang，《When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation》，arXiv:2609.20942 — https://arxiv.org/abs/2609.20942 。递归自训练压缩评分分布与语义多样性，为「自消费监督收缩判别面」提供跨领域旁证。