研究提案已修订

组内验证器误差相关下的 RLVR 数据策略校准：把 Kish 有效样本量引入组级筛选与加权

针对验证器误差在 GRPO 组内呈 0.53 相关、使组级统计量有效样本量从 K 压缩到约 1.6 的问题，提出按答案形式分层估计 ρ、用 Beta-Binomial 后验替换硬性退化过滤、并按 n_eff/K 收缩组权重的校准框架 FACE

2026年9月9日 RLVR 数据工程验证器噪声 GRPO 数据策略有效样本量答案形式

背景与动机

GRPO 及其变体把每个提示的 K 条采样当作一个组，用组内相对优势替代学习到的基线。这条设计的噪声鲁棒性依赖一个隐含假设：同一组内 K 次验证器判定彼此独立。Esther Xin（独立研究者，arXiv:2609.06386）在 Qwen2.5-1.5B 于 MATH、GSM8K、DeepMath-103K 上生成的 24,998 个 K=8 组上直接测了这条假设，用单向随机效应 ICC 得到组内验证器误差相关 ρ = 0.530（95% CI 0.500–0.560），再按 Kish 设计效应换算：DEFF = 1 + (K̄−1)ρ = 4.71，n_eff = K̄/DEFF = 1.70。

把同一个 ρ 外推到 DataFlex-RL（Hao Liang 等，北京大学、中国科学院大学、上海高级算法研究院、中关村学院，arXiv:2609.06107）实际使用的 K = 5，得到 DEFF = 3.12、n_eff = 1.60；取 CI 两端 ρ = 0.500 与 0.560，n_eff 落在 1.54–1.67。名义上的 5 次独立判定，在统计上等价于 1.6 次。

DataFlex-RL 的实测结果构成了这个推论在训练侧的对应物。它在统一 GRPO 配方下跑了 13 个配置 × 12 个匹配种子（Qwen2.5-7B-Base，12 个数学、逻辑与科学基准，verl v0.5+，每提示 5 条 rollout，300 步，KL 系数 1e-3）：均匀 GRPO 相对未训练检查点提升 7.76 个百分点，8 个选择与重加权方法无一取得排除零的配对 95% 置信区间，3 个自适应混合无一超过固定等权混合。作者自己的总结是「改变数据策略可测量地改变了训练过程，却没有产生可复现的、相对均匀训练的提升」。

两篇论文处理同一对象的两端，互把对方的核心量当常量。Xin 测到了噪声结构，在局限节明确写下「我们没有在任何校正下把训练跑到收敛；我们的主张只关于验证器误差的统计结构及其梯度后果，而非一个已被证实的训练结果」。DataFlex-RL 跑通了训练，其 8 个选择器全部读组内统计量——组解题率 q_g = (1/K)Σ1[r_gk > 0.5]、平均绝对优势 a_gk = (1/L_gk)Σ|A_gkℓ|、效率分 r_gk/L_gk——并把它们当作精确观测量使用。前者没有训练端因变量，后者没有噪声端自变量。本提案要补的，是把 ρ 接进训练环，检验它是否改变数据策略的比较结论。

现有方案不够好，有三个层次。第一层是方差被系统性低估：sqrt(DEFF) = 1.77，凡以 q_g 做阈值的规则（DAPO 动态采样、DataFlex-RL 的 difffilter）都在对一个噪声被低估 1.77 倍的量下硬判决。第二层是偏差：整组标签被一起取反时，组内标准差不变、平均绝对优势不变、解题率从 p 变为 1−p 同样合理，任何组内诊断都看不见它。按论文的可交换误差模型自行推算，误差指示变量服从形状参数 S = (1−ρ)/ρ = 0.887 的 Beta-Binomial，K = 5、单次误判率 e = 0.05 时整组全被误判的概率约 1.27%（e 取 0.02–0.10 时落在 0.48%–2.77%），独立假设下同一概率是 e^5 ≈ 3×10⁻⁷，相差约四万倍。这是偏差而非方差，不随数据规模收缩。第三层是放大：被整体取反的真混合组在观测上仍是混合组，且恰好落在所有选择器都偏好的中间解题率带上，PODS 的 maxvar、topk、GFPO 的效率分都会给它更高权重。

核心思路

提出 FACE（Form-stratified Autocorrelation Calibration of group Evidence），四个部件。

第一个部件是分层可靠性标定。沿用 Xin（2026）的 17 类 certified 答案形式分类（分数、根式、符号表达式、区间、单位标注、百分号等），在带标签的校准集上估每层的误判率 ε_c 与组内 ICC ρ_c，得到 DEFF_c = 1 + (K−1)ρ_c 与 n_eff,c = K/DEFF_c。论文已给出异质性方向：分数、根式、符号表达式、区间的聚集强于单位标注与百分号。

第二个部件用后验退化检验替换硬性 0/1 过滤。观察到全 0 或全 1 时，用 (ε_c, ρ_c) 下的 Beta-Binomial 后验算 P(真实 q ∈ (0,1) | 观察值)。ρ_c = 0.53、K = 5 时，一个高 ρ 层里的全错组对「真实退化」的证据强度远低于独立假设下的强度。这一步不是把过滤调松，而是把判决依据从点估计换成后验。

第三个部件是组权重收缩：w_g ← 1 + (w_g − 1)·(n_eff,c/K)。ρ_c = 0 时 n_eff,c = K，FACE 严格退化为原方法。这个结构性退化点让「ρ = 0 时测到增益」变成可执行自检，也保证 FACE 不会在噪声确为独立时引入无法归因的改动。

但这个收缩在本文的目标配置下力度很大：ρ = 0.53、K = 5 时收缩因子 n_eff,c/K = 1.60/5 = 0.32，一个原本给到 2.0 的组权重被压到 1.32，原本给到 0 的被抬到 0.68——选择器相对均匀配权的偏离量有 68% 被抹掉，C 臂由此被整体拉向 A 臂（均匀 GRPO）。这一后果与「救活 null」的目标相反，是 FACE 设计内部的一处张力，需要在实验设计上显式处理（见「局限性与风险」第一条）。

第四个部件是按层路由验证，而不是加 rollout。Xin 在讨论节写过「需要被去相关的单元是训练组，而不是验证器面板」，并指出规则验证器之间高度一致（两两分组损坏率 ≤ 0.0083），更大的分歧出现在规则验证器与模型验证器之间。据此把边际算力从「加 K」改到「按答案形式把高 ρ 层路由到模型验证器」：论文 §4.6 的类别路由器在 5,556 条人工标签上达到 97.1% 准确率、覆盖 3,088 条（55.6%），把其中 1,716 条送给 CompassVerifier，查询成本是「对全部 1,328 条规则分歧都送审」基线的 1.29 倍；strict 与 loose 在 100% 覆盖下分别为 75.9% 与 89.5%。类别标签是预先算好的廉价量。

反向限定先写在这里：DataFlex-RL 的 null 未必是测量伪影——在 300 步、7B 与这个算力预算下，选择确实可以不起作用。FACE 不声称能救活这些选择器，它声称的是「按目前跑法，区分这些策略的有效数据比种子数暗示的少一个 1.77 倍的标准误」。若换成干净验证器后 null 依旧，正确结论是「选择无用」，FACE 的贡献退化为一次方差记账。

技术路线

第一步，把 ρ 重估到目标配置。Xin 的 0.530 测于 K = 8、Qwen2.5-1.5B；DataFlex-RL 用 K = 5、Qwen2.5-7B-Base。论文自己的 7B 探索性对比只有 6,500 组、混入了 AWQ 量化差异、未计算 bootstrap CI，作者明确说不足以确立 ρ 随策略变强而上升。第一步就在目标模型与 K 上重测，并按 17 类分层。

第二步，分解难度混淆，这是论文点名留给未来工作的项。两条正交操作：固定 completion、换验证器配置，隔离验证器驱动的误差；固定验证器、用保值的 certified 改写换 completion 的答案形式，隔离形式驱动的误差。两条做完，观察到的退化组率 0.65 对同难度 i.i.d. 参考 0.09–0.10（差 0.56–0.57）就能拆成难度异质性与相关误差两块。另取约 2,000 组做分层人工标注（沿用 5,556 条、200 条双标注的协议），拿到真标签后这个分解是恒等式而非估计。

第三步，实现 FACE 三件套（后验退化检验、权重收缩、分层路由），挂到 verl 的 GRPO 环上，配置与 DataFlex-RL 完全对齐：K = 5、300 步、12 基准、12 匹配种子。

第四步设四臂对照：A 均匀 GRPO；B DataFlex-RL 表现最好的选择器原样；C 在 B 之上加 FACE；D 干净验证器臂，用带可执行判定的任务（如带单元测试的程序合成）或人工核验子集。

第五步是四条可证伪预测。P1（回收）：FACE 的后验检验应保留 difffilter 丢弃组中的一部分，其中真实 q ∈ (0,1) 的比例显著高于难度异质性参考的预测，且超额集中在高 ρ 层。P2（救活 null）：原协议下至少一个 FACE 包裹的选择器相对均匀的配对 95% CI 排除零；若连 D 臂下也没有，P2 被证伪。P3（天花板）：单验证器下把 K 从 5 提到 40，n_eff 只从 1.60 走到 1.85（+15%）却要 8 倍算力，选择器间差异不收窄；同等算力花在分层路由验证上则收窄，这是对「去相关单元是组不是面板」的直接检验。P4（分层操作检查）：FACE 的增益应在 ρ_c 上单调，分数/根式/区间层最大，百分号/单位标注层接近零；若增益跨层均匀，机制假设错误。

关键技术挑战有三条。一是 ρ 随训练漂移：策略变强后答案形式分布迁移，ρ_c 是时间的函数，分层标定要做成在线滑动窗口而非一次性离线估计。二是分类边界的域移：17 类 taxonomy 在合成语料上标定（Xin 2026，307,420 条判定、4,990 条金标答案，跨实现的自验证差距 41.3 个百分点），在自然 rollout 上的分区未必相同。三是路由器只覆盖 55.6%，且其类别选择规则是在同一批标签上选定、无留出集，FACE 直接采用会继承这个选择偏差。

预期成果

定量目标三条。其一，交付 ρ_c 在 K = 5、Qwen2.5-7B-Base 下按 17 类的第一份分层估计，以及退化差 0.56–0.57 的难度与相关误差二分解。其二，P3 给出 n_eff 随 K 的饱和曲线，验证或否证「8 倍算力换 0.24 个有效样本」。其三，P2 若成立，DataFlex-RL 的 null 被重新解释为测量精度不足而非数据策略无效。

定性目标两条。一是把「组」从统计推断的单元降级为噪声实现，把答案形式层升为可靠性估计的单元。二是留下一份可挂到任意 RLVR 数据策略上的方差记账层：任何以组统计量为输入的策略都能读到一个 DEFF 校准后的标准误，而不是默认 K 次独立。

影响范围限于规则验证器主导、组内共享答案形式的场景。程序合成、终端环境这类有独立可执行判定的任务上，验证器误差的机制不同，FACE 的第四部件基本无用，前三个部件仍适用。

局限性与风险

部件三与 P2 的方向相反（最高优先级）。如核心思路所述，收缩因子在目标配置下为 0.32，C 臂被拉向 A 臂。而 P2 要求「至少一个 FACE 包裹的选择器相对均匀的配对 95% CI 排除零」——DataFlex-RL 原协议下 B 臂就已无法排除零，把偏离量再压掉 68% 只会让检出更难。P2 的机制只能来自部件二（后验退化检验保留被误弃的组）与部件四（分层路由降低验证器误差），不可能来自部件三。 建议把 C 臂拆成 C1（后验检验 + 路由，不含收缩）与 C2（全套 FACE）；否则 P2 失败时无法归因，成功时也无法知道是哪一部件的功劳。另需一臂「随机收缩到同等权重方差」的对照，用于区分「去噪有效」与「降方差有效」——收缩一并压低了组间权重方差，这本身就可能带来与选择无关的稳定性收益。
ρ 在目标配置上只有一个不可靠的锚点。0.530 测于 1.5B / K = 8，目标配置是 7B / K = 5。论文里唯一的 7B 证据是 Qwen2.5-7B-AWQ 的 6,500 组、ρ = 0.657、n_eff = 1.43，但它是部分语料（13/50 个计划分片）、混入 AWQ 量化差异、未计算 CI，作者明示不足以确立 ρ 随策略变强而上升。按同一 Kish 式推算，ρ = 0.657 时 K = 5 的 n_eff 为 1.38、收缩因子降到 0.28。第一步必须先于第三步完成，否则 FACE 的整套参数化建立在一个未经确认的外推上；若 ρ 实测更低，FACE 的效应量会同步缩小。
P2 的检验力事前未估，且三个部件的方向不一致。DataFlex-RL 用 12 个匹配种子已经测不出 8 个选择器的效应；在组级统计量有效样本量只有 1.6 的情况下，12 个种子对应的有效独立信息量远低于名义值。三个部件对检验力的作用方向不同：部件二保留更多组（增加样本）、部件三压平权重（减少信号）、部件四降低验证器误差（增加每样本信息量），净效应事前未知。建议在第三步之前先做一次 oracle power check：先算给定完美真值时任何方法能达到的界，若该界与基线落在种子噪声内，则该配置区分不了任何方法——此时正确的动作是增加种子数，而不是继续调 FACE。
P4 会被路由器的选择偏差污染。分类器覆盖 5,556 条标签中的 3,088 条（55.6%），且其类别选择规则是在同一批标签上选定、无留出集。若按答案形式分层后的 ρ_c 排序被这个选择偏差扭曲，P4（增益应在 ρ_c 上单调）检验的实际上会变成「哪些层被路由覆盖得好」，而非「相关误差是否被修正」。建议 P4 只在被覆盖子集上做秩相关，并报告未覆盖子集的同一统计量作为对照。
整组取反是偏差项，FACE 修不了它。第二层指出的整组标签反转（K = 5、e = 0.05 时概率约 1.27%，独立假设下约 3×10⁻⁷）属偏差而非方差：整组反转后组内标准差不变、平均绝对优势不变，任何组内诊断都看不见它。FACE 的四个部件全部读组内观测量，对这一类同样盲；真正能对它的只有外部通道（部件四的路由，或 D 臂的可执行判定）。P2 若不成立，最可能的解释不是「选择无用」，而是「偏差项未被处理」——结果解读时必须把这两者分开。

负结果预案：若 D 臂（干净验证器）下 P2 仍不成立，则应接受 DataFlex-RL 的 null 为「在 300 步、7B 与该算力预算下选择确实不起作用」，FACE 的贡献退化为一次方差记账——这仍有独立价值，因为它给出了 8 个选择器互相打平的一个量化理由。此时的正确动作不是继续加种子或调权重，而是转向改变任务本身的信息结构。