把准则集变成一等记账单位：验证器门控多专家在线蒸馏中的弃权漂移与准则银行压力测试

背景与动机

多专家在线蒸馏把「合并专家」推进了一步。VG-OPD（arXiv:2609.15404）不再问用哪个教师，而是问哪一段 token 该由哪个教师教：专家在某条准则上的反事实增益授权它去教，它与学生的分歧定位教在哪里，准则权重决定教多少，门控后的 KL 以 token 级优势项进入 GRPO。七个基准上 4B 与 8B 学生拿到最好整体成绩，这七个基准横跨科学推理、领域科学与通用推理三类，其中五项在 4B 与 8B 两个尺度上均列第一。

这套设计的记账单位是 token。准则是它拿来记账的尺子，本身不是被记账的对象。论文把准则集写作 𝒞(x) = {(c_j, V_j, ω_j)}，下标是 x——每个 prompt 的准则条数本就不同，这个变化在方法里只被使用，没有被观测。

尺子有三个来源不同的不稳定通道，全部由同一个 V_j 驱动。

第一条是弃权。验证器返回 unknown，包括样本耗尽验证器时间预算的情形，原文规定这类结果「excluded from both numerator and normalizer」。分子与分母一并缩水，奖励不是变小，而是换了一个分母。

第二条是门控。失败准则集定义为 ℱ(y) = {j : ω_j > 0, V_j(x, y) = 0}，门控的三条排除里有一条是「verifier abstentions never gate」。弃权时 V_j 取 unknown 而非 0，该准则进不了 ℱ(y)，没有专家被授权，原文的下一句是「A criterion with no licensed expert is simply not distilled this step」。学生在这条准则上得不到监督，日志里也不留这条记录。

两条通道由同一个 V_j 驱动，方向一致：验证器越不可靠的准则越容易弃权；越弃权，奖励的分母越小、分数越高，教学也越彻底地缺席。学生在自己验证器最弱的准则上，看起来更好，学得更少。

第三条在准则银行的构建侧。可验证题的准则走 derive-then-verify：标注模型自己解题，只有最终答案通过 endpoint check，它的中间检查点才被接纳为准则。这条规则把准则银行的支撑集截在标注模型的能力前沿上——标注模型走不到的地方没有准则，而那里恰恰是学生最需要准则的地方。局限节把扩展路径写成「would require extending the criteria bank and its verifiers」，即新领域靠生成更多准则来实现。

生成出来的准则作为训练信号有多可靠，ImpossibleRubrics（arXiv:2609.16816）给了同类产物的实测：169 个任务、6 类、48 个可答对照，固定攻击者—裁判—oracle 的链条下，11 个生成器在无偏的 150 环境切上被攻破 8–26%；45 环境的压力切上最低 36%，证书忠实 rubric 为 0/45，通用「果断作答」代理 rubric 为 64% [49, 78]，11 个生成器里有 7 个不低于这条代理线——原文用词是「exceed」，严格高于。这条代理线还有一面边界情形：论文自己的 cluster-bootstrap 重采样区间显示，Hard-45 上 Sonnet 与 Haiku 的整条区间落在 64% 之上，Opus 的区间则跨过该线。做跨类对照时点估计与区间要一并报，单看点估计会把一个跨线的生成器算成已分离。该文附录还有一句与本文最直接相关：让 rubric 看起来更好的那种具体性，正是让它可被攻破的东西。

绝对数值不能照搬，ImpossibleRubrics 测的是诚实性对抗攻击，不是科学推理。它的附录 J 摘掉了攻击者，只做 best-of-N：18 个环境里 5 个（28%）抽样五次也没出一条诚实答案；可恢复的 13 个里 rubric-argmax 选中违规答案 0/13；best-of-N 违规率 27.8% 对随机 44.4%，Δ = −16.7% [−30.0, −5.6]。该文自陈这一条只覆盖一个生成器、每环境一个 rubric、N = 5、一个策略，「larger-sample selection and end-to-end training remain unmeasured」。VG-OPD 落在后者：组内 G 条 rollout 的更大规模选择，外加端到端训练。

核心思路

提出 CASA（Criterion-set Accounting with Abstention-aware Scoring，准则集记账与弃权感知打分）。主张只有一条：把准则集从「使用而不观测」的隐含量，提升为与 token 并列的一等记账单位。

与 VG-OPD 的区别不在目标函数，在记账口径。VG-OPD 已经把监督从序列级下沉到准则级，这一步不动；CASA 只要求每次打分一并落账三项内容：被评分准则集 𝒮(y)、弃权集 A(y)、弃权原因。这一步不需要新采集协议——裁判调用已按 (judge version, prompt version, criterion id, answer hash) 缓存，逐条 verdict 已记录 (model, version, prompt version) 三元组，缺的只是不把它们丢掉。

在这个账本上先给出三条可精确验证的推论。

推论一，弃权是乘性膨胀因子，而且是恒等式。 记 𝒞⁺ 为某 prompt 的正权准则集，全权重 W = Σ_{j∈𝒞⁺} ω_j；弃权集 A ⊆ 𝒞⁺，弃权权重 W_A，φ = W_A/W。弃权不贡献分子，分子在两种口径下相同，于是

r = r̃ / (1 − φ)

r 是原协议（弃权退出分子与分母），r̃ 是固定分母口径。φ = 0.05 得 ×1.053，φ = 0.20 得 ×1.25，φ = 0.50 得 ×2.00。这个因子不含近似，也不依赖任何待估参数。惩罚项准则弃权时分子还会少掉一个减项，实际膨胀不低于 1/(1−φ)。（以上为本文推算，非论文报告值；论文未报告 φ。）

两条限定要先写死。其一，论文的分母是按能力轴取的，原式为

r_a = clip( Σ_j ω_j V_j / Σ_{j: ω_j > 0} ω_j , 0, 1 )

分子含惩罚项的减项，分母只含正权项。φ 与 1/(1−φ) 都应按 (prompt, axis) 定义并分层报告，跨轴平均会掩盖轴间结构差异——判据校准已经给出两轴 precision 不等的证据（机制轴 0.877、证据轴 0.782）。其二，clip(·, 0, 1) 会让上式在高分段失真：当 r̃/(1−φ) 越界时 r 被压到 1，实测比率 r/r̃ 反而低于 1/(1−φ)。P1 的定量目标须按 r̃ 分层报告，否则膨胀最大的那批样本会被系统性低估。

推论二，组内排序可被弃权反转，阈值算得出来。 同一 prompt 的组内 W 相同，φ 只随 A(y) 变。设真实分差 Δ = r̃₁ − r̃₂ > 0，名次被反转当且仅当

Δφ = φ₂ − φ₁ > Δ / r̄

取 Δ = 0.05、r̄ = 0.6，阈值是 8.3 个百分点的弃权权重差。这个阈值是否常被越过，取决于 φ 的实测分布，而论文未报告 φ。判据校准（n = 578，整体一致率 87.0%，正权项 92.8%，per-axis precision 机制轴 0.877、证据轴 0.782，惩罚项在干净答案上的误触发率 39%）能证明的是验证器判定不准，推不出它经常弃权——误触发是给出了确定的错误判定，与 unknown 属相反的失效模式，39% 这个数字反而提示验证器偏过度自信。推论二的分量须等 P1 的 φ 分布出来再定。

推论三，门控上的「反事实增益」在它自己的定义域上退化为单次采样得分。 Δ’{j,k} = V_j(x, y_k) − V_j(x, y)，而 j ∈ ℱ(y) 蕴含 V_j(x, y) = 0，于是 Δ’{j,k} = V_j(x, y_k)，判据 g_{j,k} = 1[Δ’_{j,k} > δ] 化为 1[V_j(x, y_k) > δ]。输入只剩专家那条缓存贪婪答案上的一次判定，原文明写「one cached verdict V_j(x, y_k) serves all G rollouts of the group」。前两条推论处理奖励侧的单点噪声，这条说明授权侧连比较这一层都不存在：组内所有未通过准则 j 的 rollout 拿到同一个授权结果。这一条在原论文里是设计选择而非疏漏——原文写明 gate 是「per criterion and per prompt」量度的。它值得记账，代价应表述为「授权不随 rollout 分化」，而不是「协议算错了」。

三条推论指向同一处：VG-OPD 让 token 成为一等公民，准则仍是隐式单位，而准则正是它声称收益来源的那个轴。

技术路线

准则集账本与双分母重打分（零成本、回放式）。 不改训练，只对已缓存 verdict 重算：固定分母口径 r̃ = 分子 / W，与原协议 r 逐样本配对。产出 φ 的分布、1/(1−φ) 的分布，以及按弃权原因（timeout / unparsable / judge-unknown）分层的直方图。判据校准已在用的三类探针答案——own reference、同题错配参考、空泛模板——可在每个 step 重跑，得到该 step 的弃权基线，用来把验证器退化与学生变差分开。

三臂对照。 A 臂原协议；B 臂固定分母、弃权按未通过计；C 臂在 B 之上让弃权准则进入门控，但走低置信通道：授权阈值提高到 δ_A > δ，权重按 (1 − precision_axis) 折减。三臂共享数据、预算、λ 与 checkpoint 选择，只改口径。

退化点是结构性的，不是可调参数：当 A(y) = ∅ 对全组 rollout 成立时，三臂严格等价。由此「在零弃权子集上测到三臂差异」成为可执行自检项——出现差异就是噪声或 bug。这个子集不需要额外采样，上一步的账本直接给出。

准则银行的证书式压力测试。 准则库是可执行的，验证器有 numeric+unit、sympy_equiv、sandbox_py、rule、llm_judge 五类。对确定性验证器，构造「跳步直达终点值」「数值对而单位错」「中间量正确而符号错」一类答案，用 sandbox_py 独立复算判定 V_j 是否给分；这一路不需要任何裁判模型。对 llm_judge 准则，沿用 ImpossibleRubrics 的三件套：固定攻击者、固定裁判、以准则自身的判定语义加 endpoint check 充当 oracle。该文已自陈共享证书会削弱独立性（「rubric construction and Oracle verification share the same certificate, this comparison is not an independent validation」），缓解办法是把确定性验证器那一路的独立复算结果当锚。

四个技术挑战。 弃权与难度混淆排在最前：难准则弃权率高、失败率也高，分离手段是按弃权原因分层——timeout 与答案长度和复杂度相关，unparsable 与输出格式相关，二者与被判失败的相关结构不同，可做异质性检验。第二个是固定分母会让验证器整体崩溃与学生变差同形，逐 step 探针基线就是为这条准备的。第三个是攻破率对 oracle 的依赖，上一段已给出锚定方案。第四个是缓存键含 prompt version，重打分必须锁定同一 (judge version, prompt version)，否则口径漂移会污染 B、C 两臂。

预期成果

四条定量目标。P1：给出 φ 的实测分布，若 p95(φ) ≥ 0.10，则至少 5% 的 rollout 奖励被抬高 11% 以上（1/0.90 = 1.111），弃权通道由账本缺口升为主效应。P2：零弃权子集上三臂差异的 95% 区间覆盖 0。P3：方向已更正。 原写「C 臂在机制轴与证据轴上的授权率显著低于 A 臂」写反了——C 臂把弃权准则纳入门控，门控集合相对 A 臂只会扩大不会缩小（A 臂下弃权准则被明确排除在门控之外），计数口径的授权率必然 ≥ A 臂。可检验的预测改写为：C 臂的折减后有效授权权重显著低于 A 臂的未折减权重，并补一条质量口径——C 臂新增授权条目在确定性验证器独立复算上的通过率。另需先定死折减口径：「按 (1 − precision_axis) 折减」有歧义，乘该因子（机制轴 ×0.123、证据轴 ×0.218）与按该比例削减（×0.877、×0.782）相差 4~7 倍。知识密集项（GPQA-Diamond、RaR-Med）不掉点这一条保留，且这两项分属科学推理组与领域科学组，跨组不掉点比同组更有说服力。P4：准则银行压力测试给出按验证器类型分层的攻破率，与 ImpossibleRubrics 的 8–26% 区间做跨类对照。

反向限定先写清楚。若 p95(φ) < 0.02，弃权通道没有实际分量，主张收缩到银行构建与扩展两条通道，P1 即判为该假设的证伪。若确定性验证器攻破率为 0 且 llm_judge 准则攻破率低于 8%，则「准则银行是扩展瓶颈」不成立。

影响落在两处。方法侧，准则集记账是多专家蒸馏共用的账本科目——凡用准则、子目标或检查点做门控与加权的流水线，都要回答分母是谁；γOPD（arXiv:2609.16937）的 RBM 把可验证结果反馈与折扣 OPD 优势混合，消费的同样是验证器读数，这套账本对它一样适用。工程侧，第一步的回放式重打分不加任何算力，只是把已缓存的 verdict 换个分母再算一遍，是本文成本最低、最先可跑的一步。

局限性与失效模式

1. φ 是本文全部量级的唯一支点，而上游从未报告它。 1/(1−φ) 作为恒等式不依赖任何待估参数，但「弃权通道是否构成主效应」完全取决于 P1 的实测分布。推论一、二的工程分量都挂在这一个未知数上，P1 出结果前不该把结论写死。
2. clip(·, 0, 1) 压缩高分段。 见推论一第二条限定。r̃ 越接近 1，实测膨胀比越低，按 φ 分层画出的曲线会在高分段向下弯。若不做 r̃ 分层，P1 的证伪判据（p95(φ) < 0.02）也会跟着偏。
3. 弃权与难度的混淆只有分层手段，没有识别策略。 timeout 与答案长度相关、unparsable 与输出格式相关，两类原因与被判失败的相关结构本身同样是待测量。分层能给出异质性证据，不等于可识别。
4. llm_judge 准则的攻破率依赖 oracle，而 oracle 与 rubric 共享证书。 确定性验证器那一路（numeric+unit / sympy_equiv / sandbox_py / rule）的独立复算是唯一不共享证书的锚，落在这四类之外的准则拿不到这个锚。
5. 账本只覆盖留存的已缓存 verdict。 缓存键含 prompt version，跨版本重打分会污染 B、C 两臂；已被逐出的 verdict 无法回填，φ 的估计只能基于留存样本，可能偏向较近的 step。
6. 三臂共享 checkpoint 选择会带来结构性偏差。 若 checkpoint 按 A 臂指标挑选，B、C 两臂处于劣势。零弃权子集的自检项能兜住实现 bug，兜不住这个选择偏差。
7. C 臂里 unknown 到分数的映射未定义。 V_j = unknown 时 Δ’_{j,k} = V_j(x, y_k) − V_j(x, y) 无法求值。B 臂「弃权按未通过计」等价于把 unknown 赋 0；C 臂只有沿用同一赋值才与 B 可比，改用其他赋值需重新论证三臂可比性。
8. 不声称的边界。 本文不声称 VG-OPD 的主结果有误——七个基准上的最优整体成绩是实测的；本文主张的是它的记账口径缺一个科目，以及这个缺口的方向可预测、量级可测。ImpossibleRubrics 的绝对数值也不直接迁移到科学推理，它的攻击链测的是诚实性。

相关工作

1. VG-OPD（arXiv:2609.15404）——本文的锚点。验证器门控的多专家在线蒸馏，把监督分配下沉到准则级与 token 级；本文沿用其全部设定，改动只在记账口径。
2. ImpossibleRubrics（arXiv:2609.16816）——提供准则类产物的压力测试仪器与实测基线，并自陈端到端训练未测，该开放项正是本文的落点。
3. γOPD（arXiv:2609.16937）——给出 token 级与序列级 OPD 的统一时间信用视角，并用 RBM 混合可验证结果反馈；是准则集记账的第二个适用对象。
4. CCL（arXiv:2609.17474）——在目标域无奖励反馈下做教师校准与学习的耦合，处理教师侧偏差；本文处理的是尺子侧偏差，两者在 token 级分支上可接。
5. MIFS（arXiv:2609.16059）——多模态指令跟随的数据合成与「可学性感知」过滤，用代码验证器提供高精度奖励；其过滤环节同样默认验证器读数精确，是准则集账本的下游场景。该文另附有人类对代码验证器的审计（附录 F.7），说明验证器精度在这条线上已被部分意识到——本文的账本是把这件事变成常驻科目，不是首次提出。