多数表决滤掉的是噪声还是少数派：把策略分层写进 rollout 梯度估值

背景与动机

Agent 与推理模型的后训练强化学习里，rollout 是边训练边生成的，没有固定验证集可参照，质量参差不齐却直接决定每一步的更新方向。DTV（arXiv:2609.35072）给了一个干净的解法：不做影响函数的 Hessian 近似，也不引入裁判模型，只算当前 mini-batch 内训练单元梯度之间的两两点积 $\mathcal I^{\mathrm{DTV}}_j=\frac{1}{b}\sum_{i}g_i^{\top}g_j$，负分即判为有害，在优化器更新之前剔除。它的 Assumption 1 写得很直白：mini-batch 内多数样本的梯度共同构成当前这一步的局部有效参考方向，与这个方向反向对齐的样本视为有害。

在 GRPO 上，过滤发生在同一个 prompt 的组内——原文说得很清楚，所有过滤方法都作用于每个 prompt 组内部的单个 completion，保留与否由组内策略梯度对齐自适应决定，且不预设过滤率。参考方向就此变成「你的兄弟姐妹长什么样」，判据本质上是一次组内一致性检验。

组内多数是谁？温度采样之下，组内多数就是当前策略偏好的那条解法路线。一个走了别的路线的 completion，其参数梯度天然不与多数共向。Assumption 1 会把它判成有害。

DTV 自己的 AIME 表已经给这个代价标了价。Table 2 用 DeepSeek-R1-Distill-Qwen-1.5B、每步 8 条 completion、评估采样 16 条：Pass@16 从预训练的 0.3333 被 Vanilla GRPO 抬到 0.4000，DTV 又把它压回 0.3333，Δ 恰为 0.0000，等于把训练挣到的 6.67 个百分点的覆盖增益全数退回预训练水位；Pass@1 更落到 0.0917，比预训练的 0.1063 还低 1.46 个点。同一张表里唯一涨的指标是 Maj@16，从 0.2333 升到 0.2667（+3.34 个点）。涨的是多数表决，跌的是覆盖率。Assumption 1 说的正是「多数提供有效参考」，表格兑现的也正是这件事：批次变得更能彼此达成一致，代价是少了一条本来能解出来的路。DTV 全文里 diversity、minority、unique、novel 四个词零命中，这个反向读数从未进入视野。

⚠️ 原文核校（2026-09-29）：上一段只读了 Table 2 的一半。同一张表还有第四行 DTV-Loo（Ours），读数是反的：Pass@1 0.1333（Δ +0.0270）、Pass@16 0.4333（Δ +0.1000）、Maj@16 0.3667（Δ +0.1334），另两栏 Extractable Acc. 0.7521 与 Acc. given extractable 0.1773 也是全表最高。单是去掉自项 $s_j$ 这一个动作，覆盖率就从 0.3333 抬到 0.4333，既高过 Vanilla GRPO 的 0.4000，也高过预训练的 0.3333，同时一致性 Maj@16 从 0.2667 涨到 0.3667。

「覆盖换一致」这个代价因此只在带自我保护项的那一栏成立，DTV-Loo 上两件事同时变好。这把本提案的坐标系挪了一格：STRATA 在 $\eta=0$ 且单簇时严格退化为 DTV-Loo，所以直接对手是 DTV-Loo，DTV 只是修掉自项之前的参照。归因也跟着收窄——覆盖崩塌的第一成因是自项 $s_j$ 让每个单元靠自身范数自我加分，路线差异是第二层；只有在自项已剔除之后仍为负的交叉项，才轮到「与众不同的程度」来解释。提案本身仍然成立：DTV 与 DTV-Loo 都把冲突当成一个标量，都不看路线。但增量必须对着 0.4333／0.3667 去比，不能对着 0.4000／0.2667 去比。

反向证据来自 GROOT（arXiv:2609.31571）。它在竞赛代码上测策略多样性——approach 层面的实质差异，与词汇或嵌入层面的表面差异不同，也与正确性正交。前沿子集（base model 64 次里解出不超过 2 次的题）上，Qwen3-4B 的自我采样给出 Macro-Avg pass@1/8/64 为 IID-4 的 0.2/1.3/5.8 对 GROOT-4 的 2.1/9.3/20.1；而 IID 从 Qwen3-235B 教师蒸馏只拿到 0.7/4.5/13.4。4B 自己按方法树采样，p@64 比 235B 教师的 IID 蒸馏高出整 50%。更极端的是它的 ANTI 设置：只保留错误回答、按策略多样采出来的数据，也胜过按正确性筛出的 IID 数据。

死结就在这里。DTV 的过滤器朝「组内一致」优化，GROOT 说该朝「组内覆盖」优化，两者作用在同一个对象上——同一组 rollout——方向相反。GROOT 改的是采样端，不改变训练端对已生成 rollout 的取舍；DTV 改的是训练端取舍，不看路线。两条轴各被独立验证过，没人把它们放在同一组 rollout 上对过账。

第二个缺口是决定不留账。DTV-Loo 通过去掉自项 $s_j=\frac{1}{b}\|g_j\|^2$ 修掉了「自我保护效应」，但交叉项 $c_j$ 为负的两种成因——真是噪声或奖励错标，与只是跟别人不一样——在它的分解里是同一个数，事后无法回溯。AutoDataBench（arXiv:2609.35025）恰好点出了缺失的报告形态：数据工业里数据是一条一条交付、每条按一组准入标准验收，而「没有现有评测问一个单独的样本是否满足数据流水线的准入标准」。rollout 过滤缺的正是这种 per-unit 判决记录。

后果侧也有实测。Audit the Scaffold（arXiv:2609.34924）在 30 个同族 worker 上测到失败重叠达到最大，多数表决在 55 个任务上错 23 个（42%），并提出 best-of-k 编排恰好实现最好那个 worker 的上界——宽度买的是速率，不是预算。组内一致性过滤是在主动收窄宽度。

核心思路

提出 STRATA（Strategy-Stratified Trajectory Attribution），把策略分层写进 rollout 梯度估值。三步：分层、分解、分离。

分层。 给每个训练单元 $z_j$ 打一个策略簇标签 $k_j$，簇键取「决定性动作序列」而非 token 表面形式。数学与竞赛代码上，抽解法里被调用的关键算子、定理、数据结构；agentic 场景上，取工具调用名加规范化参数骨架构成的多重集。指纹函数要求确定性、无需额外模型、随数据落盘可重放，无法判定时记 NA。

分解。 DTV 已经算出了 Gram 矩阵 $G_{ij}=g_i^{\top}g_j$。按簇把交叉项切成两块：

$c_j=c^{\mathrm{intra}}_j+c^{\mathrm{inter}}_j,\quad c^{\mathrm{intra}}_j=\frac{1}{b}\sum_{i\neq j,\,k_i=k_j}G_{ij},\quad c^{\mathrm{inter}}_j=\frac{1}{b}\sum_{i\neq j,\,k_i\neq k_j}G_{ij}$

这一步没有第二次反向传播，只是对已算出的矩阵按掩码做两次分区求和，开销是 $O(b^2)$ 的索引。

分离。 把单一阈值 $\mathcal I_j\ge 0$ 换成两个判据。有害性判据走簇内：

$\mathcal I^{\mathrm{intra}}_j=s_j+\frac{b}{n_{k_j}}c^{\mathrm{intra}}_j\ge 0$

即只在同路线同伴之间做 leave-one-out。与走同一条路线的同伴冲突，才是真有害——噪声、奖励错标、off-policy 作弊。覆盖性判据走簇间：$c^{\mathrm{inter}}_j<0$ 不再触发删除，改为降权保留，权重按簇做平衡重整，让每个不同路线簇在组内贡献相等的总质量，像类别平衡那样。再加一条覆盖地板：每个出现过的簇至少保留 $m$ 个单元（默认 1）。

四处界线需要划清。DTV 与 DTV-Loo 把「冲突」当成一个标量，本提案把它写成簇内加簇间两项，前者触发删除、后者只触发降权；全组只剩一个簇时 $c^{\mathrm{intra}}$ 就等于 $c$，参数取 $\eta=0$ 便严格退化为 DTV-Loo，这是一条可执行的复现性自检而非口号。GROOT 在采样端造多样性，STRATA 在训练端保护多样性，两端正交可叠加。SIPO（arXiv:2609.34805）处理的是树结构里 incumbent 用自己的生成统计量被选中、fresh sibling 在选中之后才采样造成的选择性推断偏差，它的诊断手法是配对比较 selected–fresh 与 fresh–fresh，观察到前者有 gap 而后者近零；DTV 的参考方向同样是在采样之后用被采样出来的样本自己构造的，属同一类偏差，那套配对诊断可以直接搬：若少数簇内部互相之间交叉项为正、而与多数簇之间为负，负分就来自路线差异而非有害性。AutoDataBench 的 per-artifact 验收记录则移植为 per-rollout 记录。

技术路线

步骤一，策略指纹与簇划分。 定义决定性动作序列 $a(z)$，簇键 $k_j=h(a(z_j))$。三重护栏：报告簇数 $\hat K$ 与簇大小分布，$\hat K$ 逼近 $b$ 说明指纹过碎，整批退化到不分层并报 NA；$n_{k_j}=1$ 的单元不做簇内判据，只参与簇间降权；指纹函数版本随数据落盘，保证可重放。

步骤二，Gram 矩阵分区求和。 复用 DTV 在 JAX 与 Tunix 上扩展的 training-unit-level 向量化梯度，每个 mini-batch 存下 $G\in\mathbb{R}^{b\times b}$，用簇标签掩码做两次 reduce。额外开销只在掩码上。

步骤三，双判据过滤与簇平衡权重。 权重 $\omega_j=\mathbf{1}[\mathcal I^{\mathrm{intra}}_j\ge 0]\cdot\tilde\omega_j$，其中 $\tilde\omega_j$ 在 $(1-\eta)+\eta\cdot\bar n/n_{k_j}$ 归一化后取值，$\eta\in[0,1]$。$\eta=0$ 且单簇时严格等于 DTV-Loo。权重乘在 per-unit 损失上，保留 ratio clipping 与 advantage 归一化的原有语义。

步骤四，零训练诊断先行，一条梯度都不更新。 在 DTV 自己的两个设置上画四条曲线。D1：按簇大小 $n_k$ 分箱画 $c^{\mathrm{inter}}$ 的分布。D2：SIPO 式 fresh–fresh 参照，对 $n_k\ge 2$ 的簇算簇内两两交叉项，与簇间交叉项配对比较。D3：策略存活曲线，按组内通过率（0、1/8、2/8……）分箱，画过滤后存活的不同簇数占比。D4：正对照，在 Mismatch-20%（论文把 20% 组的组内奖励排序打乱）下，被污染单元的冲突应表现为簇内冲突，分别用 $\mathcal I^{\mathrm{intra}}$ 与 $\mathcal I^{\mathrm{DTV}}$ 算识别 AUC，前者必须更好，否则分层在破坏 DTV 本来抓得住的信号。

步骤五，四臂对照训练。 GSM8K 用 Gemma-3-1B-IT 加 LoRA，Clean 与 Mismatch-20% 两套，五个 matched seed；AIME 2024 用 DeepSeek-R1-Distill-Qwen-1.5B，每步 8 条 completion。手臂为 A Vanilla GRPO、B DTV／DTV-Loo、C STRATA（$\eta=1$、覆盖地板 $m=1$）、D 簇标签随机打乱的 STRATA（安慰剂对照，分层若真在起作用，D 应回到 B）。AIME 必须补多种子——论文那一行写的是每个方法单次训练运行，而 Pass@16 的 0.3333 与 0.4000 在 30 道题上只差两道题，单跑不足以给覆盖损失定价。

关键技术挑战。 指纹过碎与过粗是双向失效，过碎让簇内判据没有同伴，过粗让分层形同虚设，所以步骤一就把 $\hat K$ 与 $n_k$ 分布当作产出自检项而不是超参。簇平衡会放大「罕见但确实坏」的路线，有害性判据必须作为闸门先行，覆盖地板取 $m=1$，并单独报告罕见路线净损害指标。PPO 下训练单元是跨 episode 的轨迹段，组内参照总体不成立，分层域必须限定为共享同一参照总体的单元集合，把环境 id 与 episode id 并入上级域键。降权与 advantage 归一化会互相干扰，权重乘在 per-unit 损失上会改变组内基线的有效样本数，归一化分母须固定为未加权样本数，否则覆盖地板会被归一化吃掉。AIME 上 CoT 长达 8,192 token，指纹抽取的稳定性要先在离线样本上测重放一致率，低于阈值就换指纹。

预期成果

定量目标三条，对手一律取 DTV-Loo 而不是 DTV。AIME 上 STRATA 的 Pass@16 不低于 DTV-Loo 的 0.4333，Maj@16 不低于 DTV-Loo 的 0.3667；Vanilla GRPO 的 0.4000 与 DTV 的 0.2667 这两条线 DTV-Loo 已经自己同时跨过，拿它们当目标等于把门槛放在一个已被跨过的位置。DTV 那一栏 Pass@16 恰为 0.3333、Δ 恰为 0.0000，仍是要解释的基线——它锁定的是「自项未剔除时覆盖会怎样」——但不是要超越的对手。GSM8K Mismatch-20% 下 $\mathcal I^{\mathrm{intra}}$ 识别被污染单元的 AUC 高于 $\mathcal I^{\mathrm{DTV}}$，这是 DTV 主场，输了说明分层有害；同一比较须对 $\mathcal I^{\mathrm{DTV\text{-}Loo}}$ 再做一遍，那才是等臂对照。策略存活曲线上，组内通过率不超过 1/8 的组里，STRATA 与 DTV 的存活簇数占比之差应压到接近零。

定性目标两条。产出一张 per-rollout 验收账本，字段为 $(k_j,n_{k_j},s_j,c^{\mathrm{intra}}_j,c^{\mathrm{inter}}_j,r_j,\mathrm{decision},\mathrm{reason})$，判决理由编码为噪声冲突／异类降权／覆盖地板／NA 四类——AutoDataBench 那种「一件制品一次判决、不需要训练一轮」的形态，第一次落到 rollout 过滤上。把「覆盖与一致」从隐藏的副作用改成可调参数 $\eta$ 与可报告曲线。

四条可证伪预测。P1：$c^{\mathrm{inter}}$ 随 $n_k$ 单调上升，少数簇最负；若与 $n_k$ 无关，则「异类被判有害」的假设不成立。P2：簇内两两交叉项为正而簇间为负；若簇内同样为负，说明少数簇本身就是噪声，选题前提被否证。P3：DTV 的策略存活率随组内通过率下降而下降；若难题上反而更宽容，选题前提同样被否证。P4：打乱簇标签的臂 D 回到臂 B 水位；若 D 与 C 无差异，收益其实来自权重重整而非分层。

影响落在数据工程侧。rollout 过滤正从「要不要滤」转向「按什么轴滤」。DTV 证明了梯度空间是一台可用仪器，本提案说的是这台仪器上少一个刻度——与众不同的程度。补上之后，同一套 Gram 矩阵既能抓噪声，也保得住那条唯一的解路。

局限性与失效模式

DTV-Loo 已经跨过了最容易设的那条线。 上面核校过的第四行说明，本提案若只以「恢复 Vanilla GRPO 的覆盖率」为目标，那么 DTV-Loo 不分层就已经做到了，而且做得更多。STRATA 的增量必须专门落在「少数路线簇被保留下来」这件事上，靠 D3 策略存活曲线与分簇 Pass@k 来证明，而不是靠总分。

AIME 的统计功效不支持细粒度结论。 最终评测是 30 道题、每题 16 条响应，Pass@16 的 0.3333 与 0.4000 只差两道题，0.4333 与 0.4000 更只差一道。论文那一行写的是每个方法单次训练运行，单跑连覆盖损失的符号都定不住，这也是步骤五要求 AIME 补多种子的原因。任何「STRATA 略胜 DTV-Loo」的读法，在补齐种子前都不作数。

策略指纹不是一个通用件。 决定性动作序列在数学与竞赛代码上有明确对应物（关键算子、定理、数据结构），在 agentic 场景要靠工具调用名加参数骨架近似。一旦任务域转向开放写作或长程对话，「决定性动作」就没有可抽取的定义，簇标签会退化成 NA，整批回落为不分层——此时 STRATA 严格等于 DTV-Loo，实验会得到零差异而不是方法失败。

簇平衡会放大坏路线。 让每个簇贡献相等总质量，等价于给只出现一次的路线发一张全额票。有害性判据必须先于降权执行，覆盖地板取 $m=1$，罕见路线的净损害要单独出指标；否则在奖励可破解的环境里，一个恰好自洽的错误路线簇会被权重重整扶正。

PPO 侧不能照搬。 组内参照总体在跨 episode 的轨迹段上不成立，把环境 id 与 episode id 并入上级域键只是把域切开，不是解决问题；域切得太细会让多数簇重新变成单元素簇，簇内判据随之失效。本提案的可迁移范围限定在 GRPO 式同 prompt 组内比较。

降权与 advantage 归一化互相干扰。 权重乘在 per-unit 损失上会改变组内基线的有效样本数，归一化分母若跟着走，覆盖地板会被归一化吃掉。分母须固定为未加权样本数。

相关工作

1. Not All Rollouts Are Worth Learning: On Trajectory Valuation for Post-Training Reinforcement Learning（DTV），arXiv:2609.35072。Brandeis 大学 4 位作者，2026-09-28。主锚点。Assumption 1 的多数梯度对齐、$\mathcal I^{\mathrm{DTV}}$ 定义、$s_j$ 与 $c_j$ 的分解、DTV-Loo 的自我保护效应，以及 AIME Table 2 与 GSM8K 的 Mismatch-20% 设置，都是本提案的直接原料；全文 diversity／minority／unique／novel 零命中是缺口的直接证据。
2. Strategically Diverse Sampling for Self-Training（GROOT 与 Verbalized Sampling），arXiv:2609.31571。3 位作者，2026-09-25。给出反向证据：策略多样但错误的轨迹胜过正确的 IID 轨迹，Qwen3-4B 自采样的 GROOT-4 在前沿子集 p@64 上拿 20.1，高于 235B 教师 IID 蒸馏的 13.4。
3. SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL，arXiv:2609.34805。13 位作者，2026-09-28。选择性推断偏差与 order-statistic 修正，其「selected–fresh 有 gap 而 fresh–fresh 近零」的配对诊断是本提案 D2 的仪器来源。
4. AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop?，arXiv:2609.35025。8 位作者，2026-09-28。per-artifact 验收、训练前判决，24 个原始任务配 5 个写作 agent，45 分钟预算下无一超过 20/100。per-rollout 账本的形态来源。
5. Audit the Scaffold, Not the Checkpoint: A Stationarity Dichotomy for Recursive Self-Improvement in Agentic Coding，arXiv:2609.34924。3 位作者，2026-09-28。30 个同族 worker 上失败重叠最大、多数表决错 23/55（42%），并提出 best-of-k 恰好实现最好 worker 的上界、宽度买的是速率不是预算；SWE-bench 上逐轮改进趋于零、401 个生产会话里 churn 几何衰减。覆盖被侵蚀后的后果侧证据。

引用核验记录（2026-09-29）

五条文献的 arXiv 编号经 abs 页 citation_title、citation_date 与作者数逐条比对，标题与日期全部精确匹配：2609.35072（Not All Rollouts Are Worth Learning: On Trajectory Valuation for Post-Training Reinforcement Learning，4 位作者，2026/09/28）、2609.31571（Strategically Diverse Sampling for Self-Training，3 位，2026/09/25）、2609.34805（SIPO: Selective-Inference Policy Optimization for Tree-Structured Agentic RL，13 位，2026/09/28）、2609.35025（AutoDataBench: Can Agents Write the Data That Feeds the Self-Improvement Loop?，8 位，2026/09/28）、2609.34924（Audit the Scaffold, Not the Checkpoint: A Stationarity Dichotomy for Recursive Self-Improvement in Agentic Coding，3 位，2026/09/28）。

核心数字在 arxiv.org/html/2609.35072v1 全文（405 KB）逐条命中：Assumption 1 原文、$\mathcal I^{\mathrm{DTV}}$ 与 $\mathcal I^{\mathrm{DTV\text{-}Loo}}$ 定义、$s_j=\frac{1}{b}\|g_j\|^2$ 的分解、「All filtering methods operate on individual completions within each prompt group」、「without prescribing a filtering rate」、Table 2 的 0.1063／0.3333／0.2333、0.4000、0.0917／0.3333／0.2667、0.1333／0.4333／0.3667、GSM8K 的 0.0760 与 0.0690、Mismatch-20% 与五个 matched seed、AIME 的 8 completions／8,192 token／32,768 token／16 responses／single training run。GROOT 的 Macro-Avg 四列（IID-4 self 0.2/1.3/5.8、IID-4 teacher 0.7/4.5/13.4、GROOT-4 self 2.1/9.3/20.1、VS-4 self 2.6/10.6/22.8）取自其 Table 2 原文；Audit the Scaffold 的 23/55（42%）、401 会话与 9,395 条预训练基线取自全文。无一项依赖二手转述。

AIME Table 2 全表回源（2026-09-29 补）：逐格抽取的结果是四行五列，与正文所述一致，并补出此前遗漏的第四行。

评测口径同表取自超参表：30 道题、每题 16 条响应、温度 0.6 / top-p 0.95、最大生成 32,768 token、训练侧每 prompt 8 条 completion、序列长 1,024 / 8,192。注意 DTV 一栏的 Extractable Acc. 0.7188 与 Acc. given extractable 0.1275 双双低于预训练基线的 0.7292／0.1457，这是比 Pass@1 更直接的一致性代价证据；DTV-Loo 的 0.7521／0.1773 则同为全表最高。全文 diversity / minority / unique / novel 四词经大小写不敏感检索确认均零命中。