研究提案已修订

零频单元可学性审计：零 rollout 难度先验在锚点全败/全胜层的对称退化与方向性修复

针对 RLVR 冷启动 prompt 选择中零 rollout 难度先验把锚点全败与全胜的 prompt 判为同一分数的对称退化问题，提出以非参数已识别区间与锚点—策略方向性迁移替代 Beta 点估计的审计框架 ZLA。

2026年9月14日 RLVR 数据选择 GRPO 冷启动难度估计识别性提示词筛选数据工程

背景与动机

RLVR 的成本几乎全部落在 rollout 生成上，而 GRPO 的组相对优势在整组全对或整组全错时恒等于零。ThinkPrior（arXiv:2609.09075）把这类组称为沉默组，并给出实测规模：Qwen2.5-Math-7B 上均匀采样时早期 37.9% 的 prompt 组优势恒为零，整轮 39% 的 rollout 不贡献所研究的那一项梯度。冷启动 prompt 选择的任务是在策略尚未产生任何 rollout 历史之前，把这些预算从注定沉默的 prompt 上挪开。

ThinkPrior 的做法是用一个外部锚点（Qwen2.5-3B-Instruct）离线跑 k=16 次验证采样得到锚点通过率 φ̂，构造 Beta 后验 α=κφ̂+ε₀、β=κ(1−φ̂)+ε₀（κ=4、ε₀=10⁻³），按后验期望可学量

$U_\beta(x) = 1 - \frac{(\alpha)_G}{(\alpha+\beta)_G} - \frac{(\beta)_G}{(\alpha+\beta)_G}$

取 top-B。该式在 G=8、B=8、250 条 MATH prompt、16 种子的设置下把 silent@10 从 0.362 压到 0.158，waste@30 从 1565 压到 541。

⚠️ 审校注（2026-09-14，回源 arXiv:2609.09075 全文）：上一句把两组不同口径的数字接在了一起，须拆开读。

silent@10 0.362 → 0.158、waste@30 1565 → 541 出自论文 Table 4「ThinkPrior+DAPO composition」，对照臂是 DAPO，且 每臂 3 个种子（论文原话：cuts DAPO’s waste@30 by 65.4%，1565→541；cold silent fraction 0.362→0.158）。它对比的是「DAPO 加不加 ThinkPrior 排序」，不是「均匀采样 vs ThinkPrior」。

16 种子对应的是论文的主结果（ThinkPrior 独立臂）：早期沉默组 23.8% → 10.6%（相对下降 55%，95% 区间 [−16.4, −9.9]），waste@30 下降 19%；Table 1 中 ThinkPrior 独立臂的 silent@10 为 0.138、waste@30 为 280（同样 3 种子/臂）。

本文后续「waste@30 不劣于 541」「silent@10 从 0.158 降到不高于 0.130」两条定量目标，实际锚定的是 DAPO 组合臂。若 B 臂（ThinkPrior 原协议）采用固定预算独立臂，基线应改用 0.138 / 280，目标值需相应下调；两种基线不能混用。

问题出在这个排序函数在零频单元上的形状。φ̂ 只取 16 个离散值，其中 c=0 与 c=16 两个格子被 U_β 赋予完全相同的分数——该式在 α↔β 下不变。ThinkPrior 正文（§「How an underestimated prompt can stay unselected」）自己给出了这两个格子的构成：锚点给 φ̂=0 的有 99 条 prompt，其中 8 条的参考通过率落在可学带内（论文定义为 U(p)>0.8，按 G=8 反解对应参考通过率约 0.18–0.82，本文推算）；锚点给 φ̂=1 的有 19 条，其中 13 条在带内。两格落入可学带的比例是 8/99 = 8.1% 对 13/19 = 68.4%，相差 8.5 倍，而它们拿到同一个分数。合计 118/250 = 47.2% 的池子、21/76 = 27.6% 的可学集被压在同一层上——21/76 这个数是论文原文给出的（“Both extremes drive U_β to its floor, so 21 of the 76 band prompts…”），不是本文推算。

按 arXiv:2609.12439 对 Tie 的三分法（正确的等价并列、校准过的软边界并列、摧毁分辨率的并列），这属于第三类：被并列的单元在存在参考真值的前提下可分，是仪器分辨率不足造成的并列，不是对象本身等价。

调超参数修不了这条对称性。κ 只通过对数项进入地板值， $U_\beta(\text{零频}) \approx \epsilon_0\,[\psi(\kappa+G)-\psi(\kappa)]$ ，κ=4、G=8 时约 1.19×10⁻³（本文推算，非论文报告值；ψ 为双伽马函数，ψ(12)−ψ(4) = 1.1866，乘 ε₀=10⁻³ 得 1.187×10⁻³）；κ 从 1 提到 16 只让该值变动约 6.5 倍，而它和中等难度 prompt 的分数（φ̂=0.5 时约 0.891，同样为本文推算）相差约 750 倍。

📌 一个值得注意的量纲落差：论文给的 plug-in 值是 $U(1/2)=0.992$ 、 $U(0.05)=U(0.95)=0.337$ （G=8）；而 κ=4 的后验期望只到 0.891。两者不是同一件事——前者是「已知 p=0.5」时的可学量，后者是「锚点只给了 16 次采样、先验仅值 4 个伪计数」时对可学量的期望。这 0.1 的落差正是 κ 折价（论文原话：a fourfold discount，因为它量的是锚点的通过率，不是策略的）在分数上的直接体现：零频层的地板低，不完全是零频造成的，κ 折价把整条曲线的量级都压下来了。 这一点在把 ZLA 换掉点估计时也需要一并计入。κ 的对称地位还带来一个直接推论：任何 κ、任何 ε₀ 都无法让 0/16 与 16/16 分出高下，修复必须改函数形式而非调参。

识别性一侧的工具已经就位。arXiv:2609.09245 证明，在 pooled/random-task 条件二项模型下，固定 n 次 rollout 的计数律只识别 per-task 成功率分布的前 n 阶矩，k>n 的外推的 pass@k、尾指数、尾常数一律不被识别——即便任务数任意多。该文还给出两条可直接搬用的结论：零频惯例（raw zero-frequency 与 Jeffreys 平滑）的选择会实质改变标定；报告标准应把直接估计、已识别集、模型条件预测三类数字分开。ThinkPrior 只报了第三类。

核心思路

提出 ZLA（Zero-cell Learnability Audit，零频单元可学性审计）。三层改动都只作用在零频层 Z={x : c_x ∈ {0,k}} 上，非零频层的排序不动。

第一层，把地板从点估计换成已识别区间。对 c=0 的 prompt，取 Clopper–Pearson 单侧 95% 上界 p ≤ 1−0.05^{1/16} = 0.171，U 在 [0,1/2] 上单调，故已识别集为 [0, 0.777]（双侧 95% 口径为 [0, 0.842]；均为本文推算）。这一次替换的净效果是：ThinkPrior 用点估计断言这类 prompt 的可学量是 1.19×10⁻³，非参数上界说数据根本不排除 0.777，两者相差约 650 倍。c=16 一侧对称处理，得到同一个上界——上界本身也对称，所以第一层只提供「宽度」，不提供「方向」。

第二层，用方向性迁移打破对称。取 m 条标定 prompt，对每条一并测锚点计数 c_x 与参考通过率 p̂_x，分别拟合 ĝ₀=E[p | c=0] 与 ĝ₁=E[p | c=k]，两个函数不共享参数。这一步把论文已经测到的那组不对称率（8.1% 对 68.4%）从观察变成排序依据。它和论文自陈「未实现」的探索项不同：探索项给零频层均匀加分，不看方向；Thompson 采样类方法（MoPPS）在同后验上抽样，靠随机破并列，同样不看方向。

第三层，预算中性的锚点深度重分配。总锚点预算固定为 250×16=4000 次生成（论文自陈此数与一轮 rollout 预算相当）。把 132 条非零频 prompt 从 k=16 降到 8，腾出 1056 次，可给 118 条零频 prompt 各补到 k₂=24。这一层的收益不大（CP 上界从 0.171 降到 0.117，U 的已识别上界从 0.777 降到 0.632），它的主要用途是给第二层当检验：若方向性假设成立，φ̂=1 组离开零频层的速率应显著高于 φ̂=0 组；两组速率若仍对称，第二层的假设即被证伪。

排序准则改为 score(x) = Û(x) + λ·w(x)，w(x) 为区间宽度。Z=∅ 时 w(x)≡0，score 严格回到 U_β，ZLA 退化为 ThinkPrior——这是结构性退化点，不是调参退化点。

技术路线

零频层审计与区间化。重跑锚点遍历，输出 |Z|/|X|、零频层内可学比例、方向不对称比三个数，并按 09245 的尖矩界（Hausdorff 主表示）给出每条零频 prompt 的 U 已识别区间，替掉 Beta 点估计。
方向性迁移标定。m=40 条标定 prompt 上估 ĝ₀、ĝ₁，用层级贝叶斯在两者间池化先验的尺度而不池化方向（先验只约束二者同落 [0,1]，不约束相等），避免 19 条 φ̂=1 样本撑不起独立估计。
UCB 式选择加批内配额。score = Û + λ·w，并限制每批 top-B 中零频 prompt 不超过 q 条，防止 118 条并列涌到队首把选择变成随机。λ 与 q 做二维扫描。
迁移函数刷新。每 Δ 步用已选 prompt 的实测组内方差回炉重估 ĝ₀、ĝ₁，应对论文 Limitations (iii) 指出的策略漂移。
四臂对照。A 均匀采样；B ThinkPrior 原协议；C 原协议加论文自陈的探索项；D ZLA。主指标 waste@30、silent@10、step-30 可学带触达率、最终 MATH500。

关键挑战有五条。其一，可学带本身由参考通过率定义，采样不足时带归属会误判，需用同一套区间口径把带归属也做成软归属。其二，ĝ₁ 只有 19 条样本，方差大，需靠跨池（1200 prompt 池）扩充。其三，策略漂移会让离线估出的 ĝ 在训练中段失效，刷新周期 Δ 与标定成本需要权衡。其四，论文 Limitations (v) 指出同一 exact-match 验证器给 probe、reward、eval 三者打分，误差同向，零频层的误判会与验证器误差叠加，需在标定集上估 P(c=0 | 真值非 0) 做修正。其五，区间过宽会让 λ·w 主导排序，需靠 q 配额把探索量控制在可归因范围。

预期成果

定量目标：零频层中被错误压制的可学带 prompt 从 21/76（27.6%）降到不超过 8/76（10.5%）；step-30 可学带触达率从 69/76 提到不低于 75/76；silent@10 从 0.158 降到不高于 0.130；waste@30 不劣于 541（16 种子区间内）；最终 MATH500 与 B 臂无显著差异。归因上，C 臂应改善触达率而不改善带内排序精度，D 臂应两者都改善。

四条可证伪预测：P1，B 臂下 φ̂=0 组与 φ̂=1 组的被选中率无差异（U_β 对称），D 臂下后者应显著更高，若仍无差异则方向性迁移假设被证伪；P2，D 臂触达率若未超过 69/76，说明瓶颈在池规模而非排序，与论文「无法区分延迟使用与持续排除」的自陈一致；P3，在 anchor≡policy 的对照池上零频层大幅收缩，ZLA 与 ThinkPrior 的 waste 之差应趋于零，若仍有差异则增益来自 λ·w 而非区间化；P4，重分配后非零频层全池 Spearman（0.62）与带内 Spearman（0.38）不应显著下滑，下滑超过种子噪声即说明 k=8 不足以支撑排序。

定性影响：把「零频单元」从各家方法的默认盲区变成一类可审计对象，并给出任何零 rollout 先验都应随文报告的三个数——零频层占比、零频层内可学比例、方向不对称比。这一报告口径是 arXiv:2609.09245「直接估计 / 已识别集 / 模型条件预测」三分标准在数据选择侧的移植。在代码与 Agent 场景，锚点与策略往往分属不同模型族、验证器更稀疏（单元测试通过/失败），零频层只会更厚，同样的审计可直接套用。

局限与边界

写清这套框架不解决什么，比写清它解决什么更能防止误用。

其一，ZLA 只在「锚点与策略不是同一个模型」时才有意义。 零频层的厚度本质上是锚点与策略的能力差造成的。若 anchor ≡ policy，零频层会大幅收缩，ZLA 与 ThinkPrior 的 waste 之差应趋于零——这正是可证伪预测 P3 的内容。确切地说，本框架修的是「用便宜模型给贵模型挑题」这一特定设定下的测量误差，不是通用的选择算法提升。

其二，第一层只提供宽度，不提供方向。 Clopper–Pearson 上界本身在 c=0 与 c=k 上是对称的（都是 0.171），单靠区间化只能把「点估计断言 1.19×10⁻³」改成「数据不排除 0.777」。真正产生排序增益的是第二层的方向性迁移。若 ĝ₀ 与 ĝ₁ 在标定集上无显著差异，ZLA 会退化成「ThinkPrior + 一次昂贵的随机探索」——λ·w 项会把 118 条并列 prompt 随机推到队首，反而可能劣于 B 臂。这是本框架最主要的失败模式，也是 P1 存在的理由。

其三，可学带不是客观的。 带归属由参考通过率定义，而参考通过率本身是有限采样的估计。把带归属做成软归属（关键挑战其一）会让「可学带触达率」这一主指标的定义随之变软，跨方法比较时必须使用同一套归属口径，否则触达率的提升可能只是口径变松。

本框架不声称三件事：不声称改善最终 MATH500（ThinkPrior 原文亦明确”no accuracy difference”，本框架的定位是同样的预算花在更有信号的 prompt 上，不是让模型变强）；不声称在验证器稀疏的场景（如代码单测通过/失败、Agent 轨迹判定）同样有效——那些场景的 P(c=0 | 真值非 0) 更高，需先在标定集上估出该量才能判断增益是否还在；不声称消除沉默组，只重分配预算——它提高的是命中率，不是可学 prompt 的供给量，池子若本身贫瘠，排序再准也无米下锅。