技能自蒸馏中「过滤用率、排序用计数」的错配：检索频次去混淆的贡献率排序与跨块复现证书

背景与动机

技能库（skill bank）正在成为把程序性知识注入大模型的一层中间结构：技能是可复用的自然语言过程、启发式或失败模式描述，在推理时作为提示补丁，在训练时作为教师的特权上下文。SGUID（arXiv:2610.12367，NYU + Amazon，v1 2026-10-08）把「哪些技能值得被蒸馏」第一次变成了可计算的选择问题。它的观测装置是 on-policy 自蒸馏里的有符号训练系数

$c(s;x,y^\star,\hat y)=\mathrm{Verify}(s,\hat y,y^\star)\cdot\mathrm{Gate}_\kappa\big(\tilde a(s,\hat y)\big),$

教师与学生共享参数，只在条件集上多出参考答案 $y^\star$ 与技能 $s$；$c>0$ 表示这条技能条件化教师给出了与验证器一致的活跃信号。论文用这套装置测出「少于 25% 的被检索技能产生活跃蒸馏信号」，并提出在一整条 200 步全库蒸馏运行上统计每条技能的早/晚期正贡献，过滤掉衰减的技能，再用紧凑库从同一检查点重启训练。 四模型三基准上，第一轮 6 条选中技能在均值 avg@12 上于四个模型中的三个追平或超过 30–71 条的全库蒸馏（Qwen3-1.7B 上 R1 的 42.3 仍低于 SGSD 全库的 43.0）；第二轮再选 3 条之后，四个模型才全部追平或超过，其中 1.7B 的 43.0 与全库正好打平。

选择这一步做对了方向，选择统计量的构造留下了三处可以直接检验的缺口。

第一处：过滤用率，排序用计数。 式 (11) 的保留条件是 $A_E(s)>0$、$A_L(s)\ge h$、$Q_L(s)\ge Q_E(s)/\tau$，其中 $Q_p(s)=A_p(s)/N_p(s)$ 是每次检索的贡献率；最终筛选却写的是「取 $A_L(s)$ 最大的 $K$ 条，以 $Q_L(s)$ 打破并列」。$A_L(s)=N_L(s)\cdot Q_L(s)$ 把「被检索到多少次」与「每次被检索到时有多值得教」乘进了同一个标量，教导率只在并列时才起作用。论文的结论首句写着 “Retrieval decides which skills a teacher sees, not which ones actually teach”，而它的排序键恰恰奖励「被看到」。附录 B 里 Qwen3-4B 的 R1 六条是 “Simplify Expressions""Translate Constraints to Algebra""Analyze Symmetries""Constraint Optimization""Validate Solutions""Angle and Ratio Analysis”，Qwen3-8B 的六条是 “Geometric Constraint Modeling""Number Theory""Tangency Relationship Derivation""Combinatorial Counting""Integer Scaling Optimization""Domain Constraint Application”，形态上都是覆盖面最宽的泛用技能（），与「按检索流行度排序」的预测一致，而这一臂从未被跑过。

第二处：检索次数从未被刊出，稀疏门槛解除不了频次与价值的相关。 正文定义了 $N_p(s)$ 与 $Q_p(s)$，附录 A 表 5 给出了 $h=10$、$\tau=5$、早/晚切分设在第 75 步、$K=6$（R1）/ $3$（R2），没有任何一张表列出单条技能的检索次数或贡献率；replicat、Jaccard、overlap、oracle、placebo 五个词在正文中的计数均为 0。$h=10$ 只保证事件数下限，不做频次归一化，也不报告 $\mathrm{CV}(N_L)$。

第三处：「一致地贡献」的操作化是单条运行内的时间轴一致性，不是复现一致性。 摘要称只保留 “consistently yields effective learning signals” 的技能，一致性却由同一条训练运行内部的 early→late 不衰减（$\tau=5$）来代表。$c>0$ 是伯努利事件，$Q_L(s)$ 在单条运行上只被估过一次；主结果表 1 的四模型 × 六方法全部单点、无误差棒，只有表 4 的 random-6 一行带 3 个种子。

两处附带口径问题值得一提。表 4 表头写「All skill selection baselines are trained for 100 steps」，其中 top-6 一行的四个数（55.3 / 43.1 / 28.6 / 42.3）与表 1 中训满 200 步的 R1 行逐位相同；若 random-6 与 worst-6 确实只训 100 步，则三臂不同步数，41.5 与 41.2 的 0.3 点差读不出来。 表 1 的 HMMT25 列上，Olmo-3-7B 的五个训练行（25.8 / 20.8 / 24.4 / 25.6 / 26.1）全部低于 base 的 26.9；Qwen3-8B 的 AIME24 上 R1 的 75.3 低于 base 77.5 与 OPSD 78.1。这两列不进入主结论的口径，也不进入终止判据。

还有一处需要先划清界限，否则第一处缺口会被读成「论文漏做了对照」。表 3 的最后一行是 K=6, no persistence：保留同样的 6 条预算、仍按 $A_L(s)$ 排序，只把持续性约束 $Q_L(s)\ge Q_E(s)/\tau$ 摘掉，Qwen3-4B 的均值从 65.1 掉到 62.3。它证明的是过滤条件有用——即「率不衰减」这一步筛选确实挑出了更好的技能。它不涉及排序键：那一行仍然用 $A_L(s)$ 排序，频次与教导率仍然乘在同一个标量里。（）

核心思路

提出 RACS（Rate-Aligned, frequency-deConfounded Skill selection），把「挑选会教的技能」改写成「在给定检索频次分布下挑选教导率高的技能」，并给选择结果配一份复现证书。四处改动：

排序键换成收缩后的每次检索教导率。 以全库正率 $\hat\mu$ 为先验中心做经验贝叶斯收缩

$\tilde Q_L(s)=\frac{A_L(s)+\alpha\hat\mu}{N_L(s)+\alpha},$

再以单点可调参数 $\lambda\in[0,1]$ 在两个秩之间插值：$\mathrm{score}_\lambda(s)=(1-\lambda)\,\mathrm{rk}\big(A_L(s)\big)+\lambda\,\mathrm{rk}\big(\tilde Q_L(s)\big)$。$\lambda=0$ 严格退化为 SGUID 的排序；当各技能 $N_L$ 相等时，任意 $\lambda$ 给出同一排序。

补一条纯流行度臂与一条频次匹配安慰剂臂。 流行度臂直接按 $N_L(s)$ 取 top-$K$，是频次混淆最直接的检验。安慰剂臂把 $(s,x)$ 的 $c$ 值在同一相位内跨题打乱，保留每条技能的 $N_L$ 与边际正率、打掉技能与贡献的配对，所得选中集给 Jaccard@$K$ 提供一个随机基准。

把一致性从时间轴搬到复现轴。 一条训练运行切成 $B$ 个 disjoint 步块（默认 4 块 × 50 步，块内再分 early/late），对每条技能记录跨块符号一致率 $\kappa_s$ 与跨块选中集 Jaccard@$K$；跨种子再做一遍。$\kappa_s$ 与 $J_K$ 都是已有选择运行的副产品，零额外训练成本，并配一块「打乱块标签」的安慰剂。

把 25 步单点扩展成窗口标定曲线。 论文在表 2 只测了 25 步一个点（Qwen3-1.7B 上 42.5 对 42.3，Qwen3-4B 上 63.4 对 65.1，掉 1.7 点），并把「能否从更早阶段可靠预测紧凑库」列为 open direction。RACS 扫 $w\in\{25,50,75,100,150,200\}$，画出 $w$ 与 Jaccard@$K$（相对全窗口选中集）的曲线，取 Jaccard $\ge0.8$ 的最小 $w$ 作为 $\hat w^\ast$。

与现有工作的关键区别在于判据与排序键的对齐方式：SGUID 用具名率做过滤、用绝对计数做排序、用单条运行的时间轴做一致性；RACS 让同一个率承担过滤与排序两件事，一致性改由跨块与跨种子重抽样给出，并把频次本身单独拎出来做成一条对照臂。

技术路线

第 1 步，回捞并刊出频次与教导率的分解表。 从选择运行的检索日志中取出每条技能的 $N_E,N_L,A_E,A_L$，算 $Q_E,Q_L$ 与 $\mathrm{CV}(N_L)$。检索器是 Qwen3-Embedding-0.6B 余弦相似度，全库运行的每 prompt 教师数按表 5 取 8。零训练成本，产出论文从未刊出的一张表。终止线：$\mathrm{CV}(N_L)<0.3$ 则频次混淆不成立，主轴作废，转入「窗口标定 + 复现证书」分支。

第 2 步，两条零训练对照臂。 流行度臂（按 $N_L$ 排序）与频次匹配安慰剂臂（跨题打乱 $c$）各取 top-6，与 SGUID 的选中集算 Jaccard@6 与重叠技能的 $N_L$ 分位。这一步不需要 GPU。

第 3 步，收缩率排序的权重扫描。 在 Qwen3-1.7B 与 Qwen3-4B 上，$\lambda\in\{0,0.25,0.5,0.75,1\}$ 各跑一次 200 步紧凑库蒸馏（2 模型 × 5 档 = 10 次）。$\alpha$ 用留出技能子集做交叉拟合标定，不在同一批选中技能上调，避免选择泄漏。设置沿用附录 A：LoRA r=64 / α=128、lr $5\times10^{-6}$、effective batch 16、gate $\kappa=0.05$、support clip $\delta=3.0$、live teacher、4×H200。

第 4 步，跨块复现证书。 在 $\lambda^\ast$ 上跑 3 个种子 × 4 块，报告 $\kappa_s$ 的分布、跨种子 $J_6$ 的均值与标准差、块标签打乱安慰剂的同一组统计量。跨块切分与第 75 步的 early/late 切分冲突，处理办法是在每个块内部重新按 3:5 划分 early/late，块级 $Q$ 只用于一致性判定，不用于筛选。

第 5 步，窗口标定与等步数重跑。 扫 $w$ 得到 $\hat w^\ast$；把表 4 扩成 top-6 / random-6 / worst-6 / popularity-6 四臂，统一训 200 步 × 3 种子，报告 mean ± σ。预注册两列反向指标作为「不得更差」约束：Olmo-3-7B 的 HMMT25 不低于 base 26.9，Qwen3-8B 的 AIME24 不低于 base 77.5。

关键技术挑战有四条。检索日志的回捞依赖作者在附录里未写明的检索深度（每 prompt 取几条候选），需要先与表 5 的「Teacher count per prompt = 8」对齐，不一致时按 8 重算并把偏差单列。$\alpha$ 的标定若与选择共用同一批技能，会重演 SGUID 里「统计量在自己身上被检验」的结构，必须用块间交叉拟合。live teacher 与 LoRA 同步更新使每次重跑都是完整的 200 步，预算控制在 1.7B/4B 两个模型，8B 只做最终验证。打乱 $c$ 值时必须保持 $(s,x)$ 的检索指示矩阵不变，否则安慰剂臂连 $N_L$ 一起改掉，对照失效。

预期成果

定量目标分五项：① 首份 $N$–$Q$ 分解表，含 $\mathrm{CV}(N_L)$ 与按 $N_L$ 分位的技能分布；② 流行度臂与 SGUID 臂的 Jaccard@6，以及两臂各自训出的 mean avg@12 之差；③ $\kappa_s$ 与跨种子 $J_6$ 的均值 ± σ，含块标签打乱安慰剂基线；④ 窗口标定曲线与 $\hat w^\ast$；⑤ 等步数四臂重跑的 mean ± σ，其中 $\lambda^\ast>0$ 时的目标是在 Qwen3-4B 上不低于 SGUID R1 的 65.1，且 HMMT25 不低于 base 46.7。

六条可证伪预测，各带终止线。P1：流行度臂与 SGUID 臂的 Jaccard@6 $\ge0.5$（Qwen3-4B，30 条候选）；低于 0.2 则频次混淆不成立，第一、三步作废。P2：$\mathrm{CV}(N_L)\ge0.5$；低于 0.3 同 P1 处理。P3：跨 3 种子的 $J_6<0.7$；高于 0.9 说明单种子选择已稳定，第 4 步可省。P4：$\hat w^\ast\ge100$ 步，且 25 步窗口的 Jaccard@6 $<0.5$，与表 2 在 4B 上掉 1.7 点同向；若 25 步的 Jaccard 已 $\ge0.8$，则论文的 25 步结论需重新解释。P5：等步数下 worst-6 与 random-6 的 mean 差 $<1.0$ 点且符号随种子翻转，即选择信号的分辨率不足。P6：$\lambda^\ast>0$ 且 Qwen3-4B mean $\ge65.1$；若 $\lambda^\ast=0$ 恒最优，接受原排序键，提案降级为「复现证书 + 窗口标定」两项交付。

定性影响落在机制解释上。若 P1、P2 成立，SGUID 的结论「selection is the key mechanism for stable model–skill co-evolution」需要改成更窄的陈述：在检索频次高度不均的分布下，按绝对贡献计数排序等价于按检索流行度截断，稳定作用来自丢掉长尾的低频技能，而不是来自识别出教导率高的技能。对数据工程实践的直接含义是，凡用「事件计数」给语料单元（技能、工具、模板、环境）排序的选择器，都要先把「被采样到的次数」与「每次被采样到的价值」拆开，并给排序结果配一份跨块复现证书。

相关工作

arXiv:2605.28791 — Skill-Conditioned Gated Self-Distillation for LLM Reasoning（SGSD）：技能条件化教师 + 门控 + 验证器对齐的在线自蒸馏，是 SGUID 的直接基座，也是本提案选择运行的装置来源。

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models（OPSD，arXiv:2601.18734）：只条件化于参考答案的自蒸馏基线，表 1 中在 Qwen3-8B 上以 65.3 高于 SGUID R1 的 64.3，构成本提案反向列约束的参照。

SWE-Skills-Bench: Do Agent Skills Actually Help in Real-World Software Engineering?（arXiv:2603.15401）：在软件工程任务上测出 49 条编码技能里只有 7 条带来实质改进，是「单条技能效用」这一问题的先验证据来源。

arXiv:2603.25158 — Trace2Skill: Distill Trajectory-Local Lessons into Transferable Agent Skills：把轨迹局部教训蒸馏为可迁移技能，与 RACS 共享「从训练动力学里识别有效单元」的思路，区别在于它不区分检索频次与教导率。

Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills（arXiv:2607.22529）：技能与策略共同演化的另一条路线，其技能侧更新不设复现证书，是本提案跨块一致性判据可以外挂的目标之一。

局限性与失效模式

本文的三处缺口是「未刊出 / 未跑」，不是「算错」。 式 (11) 的保留条件、取 $A_L(s)$ 最大 $K$ 条并以 $Q_L(s)$ 打破并列的排序规则、以及 h、τ、切分点、K 的取值，均已逐字回源核对无误。RACS 的价值在于补跑对照与配证书，不在于纠正错误。

检索频次不均是整条主轴的前提。 检索器是 Qwen3-Embedding-0.6B 余弦相似度、每 prompt 取 8 条候选。若 DAPO-Math-17K 上的语义检索把频次压得比较均匀，$\mathrm{CV}(N_L)$ 会低于 0.3，P1、P2 同时不成立，第一、三步作废，只留下窗口标定与复现证书两项交付。这是本提案最可能落空的一环。

块内事件数会限制收缩率的精度。 R1/R2 各只跑 200 步，切成 4 × 50 后每块 late 段约 30 步，$A_L(s)$ 的事件数落在 h=10 附近的量级上，经验贝叶斯收缩里的先验 $\hat\mu$ 会显著主导 $\tilde Q_L(s)$。这是统计功效问题而非设计缺陷，报告时应同时给出未收缩的 $Q_L(s)$ 排序作为对照。

选择信号的分辨率可能不足以支撑 P5。 表 4 里 random-6 的三种子已经给出 ±0.8 / ±1.2 的波动，而 P5 的终止线是「worst-6 与 random-6 的均值差 < 1.0 点」。两者同量级，因此 P5 判定必须连符号随种子翻转一起看，不能只看差值大小。

第 1 步依赖未公开的检索日志。 每条技能的 $N_E,N_L,A_E,A_L$ 从未刊出，回捞需要作者配合。拿不到时只能按表 5 的「每 prompt 8 条」推断 $N_L$ 的上界，此时 P1、P2 从实测降级为推断，结论需相应弱化。

引用核验记录

回源方式：arxiv.org/abs/<id> 取 citation_title / citation_author / citation_date；arxiv.org/html/<id>v1 取正文、表格与附录。核验日期 2026-10-09。

正文数值逐项核验：式 (11) 的 $A_E(s)>0$、$A_L(s)\ge h$、$Q_L(s)\ge Q_E(s)/\tau$ 与「取 $A_L(s)$ 最大的 $K$ 条、以 $Q_L(s)$ 打破并列」✅；附录 A 表 5 的 h=10、τ=5、early/late 切分 75/100（R1）、K=6(R1)/3(R2)、gate κ=0.05、support clip δ=3.0、LoRA r=64/α=128、lr $5\times10^{-6}$、effective batch 16、4×H200、Qwen3-Embedding-0.6B ✅；表 1 四模型 × 六方法 24 行 ✅；表 2 的 25 步代理（1.7B 42.5 对 42.3；4B 63.4 对 65.1）✅；表 3 的 K 扫描（2/4/6/12 → 63.3/64.4/65.1/64.6）与 K=6, no persistence 行 62.3 ✅；表 4 的「All skill selection baselines are trained for 100 steps」及 top-6 与表 1 R1 行逐位相同 ✅；附录 B 表 7（Qwen3-4B）、表 8（Qwen3-8B）选中技能标题 ✅；“Retrieval decides which skills a teacher sees, not which ones actually teach” 出现在结论段 ✅；replicat / Jaccard / overlap / oracle / placebo 五词在 HTML 全文计数为 0 ✅。