论文精读

精读：DataFlex-RL —— 13 种 RLVR 数据策略，没有一个跑赢均匀采样

在固定 GRPO 配方、固定验证器、12 组匹配种子的条件下比较 13 种筛选、重加权与自适应混合配置，没有任何一种相对均匀采样产生可复现增益；本专栏重算其域级分解与置信区间后指出，这个 null 结果里既有度量方式的产物，也有统计精度的产物

论文： DataFlex-RL: An Evaluation Platform for RLVR Data Policies

作者： Hao Liang, Mingrui Chen, Hengyi Feng, Meiyi Qiang, Wentao Zhang

arXiv： 2609.06107

2026年9月15日 DataFlex-RL RLVR GRPO 数据策略后训练可复现性统计功效 cs.LG

1 论文概览

一句话总结。 把 RLVR 的数据策略从它所在的整套训练配方里剥离出来，在固定 GRPO 配方、固定验证器、12 组匹配种子的条件下比较 13 种配置，没有任何一种筛选、重加权或自适应混合方法相对「均匀采样」产生出可复现的增益。

核心问题。 DAPO 的通过率过滤、PODS 的方差最大化采样、Advantage Reweighting 的 token 概率加权、GFPO 的 reward-per-token 筛选、DUMP 与 TSCL 的自适应域课程——这些方法发表时都是作为一整套 RLVR 配方的一部分出现的：换基座模型、换 prompt 模板、换验证器、换 rollout 预算、换优化超参，全都堆在一起。一个报告的增益究竟来自信号本身、来自干预方式，还是来自周围那一堆跟着换掉的东西，原论文回答不了。

论文把这句话说得比大多数方法论批评更狠：

A reported gain can therefore reflect the signal, the intervention, or the surrounding training stack.

在线策略评估还叠加了两层麻烦。打分随策略更新而变，数据效用信号自带噪声，还内生于训练过程本身；训练种子波动与小基准的测量噪声，量级上追得上方法之间报告出来的差距。

主要贡献。

13 配置 × 12 匹配种子的主实验。 在 Qwen2.5-7B-base 上跑完 13 种配置，每种 12 个种子，配 12 个基准的域平衡评分。均匀 GRPO 相对未训练检查点涨 7.76 分；8 种筛选/重加权方法相对均匀采样的配对 95% 置信区间全部包含零，3 种自适应混合相对固定等比例混合的区间也全部包含零。
评测口径敏感性的直接测量。 同一批 Qwen2.5-7B-Instruct 的 9 个配置，用「数学加权六基准」和「域平衡十二基准」两种汇总方式排名，Spearman $\rho=-0.33$ 呈负相关；保留全部 12 个基准的替代汇总方式之间则高度一致（ $\rho=0.88$ ）。
可复用的对照平台。 DataFlex-RL 把「策略改动了什么」与「策略用什么信号来改」拆成两个维度，配共享 driver（统一调度 rollout 与优化的主程序）、匹配种子、统一评分格式、训练-评测对齐的校准冒烟测试，全部 591 次运行带日志与原始数字。

2 方法详解

三类干预点。 论文的骨架不是方法列表，而是三个干预点在训练循环里的位置。

Selection（筛选） 发生在 rollout 与验证之后，决定哪些响应进入本次更新：给每个响应一个 $m_{gk}\in\{0,1\}$ 的掩码，为零就从更新里摘掉。
Reweighting（重加权） 同样发生在验证之后，但保留全部响应，只改它们的损失贡献： $w_{gk\ell}\geq 0$ ，且归一化到批内均值一。
Mixture adaptation（混合自适应） 发生在下一次 rollout 之前，只改未来 prompt 的域采样概率 $p_t(d)$ ，每个响应的 GRPO 损失原样不动。

三条公式对应三个位置：

$\mathcal{L}_{\mathrm{sel}}=\frac{1}{GK}\sum_{g,k}\frac{m_{gk}}{L_{gk}}\sum_{\ell}\ell^{\mathrm{GRPO}}_{gk\ell}$

$\mathcal{L}_{\mathrm{rew}}=\frac{1}{GK}\sum_{g,k}\frac{1}{L_{gk}}\sum_{\ell}w_{gk\ell}\,\ell^{\mathrm{GRPO}}_{gk\ell}$

$\mathcal{L}_{\mathrm{mix},t}(\theta)=\sum_{d}p_{t}(d)\,\mathbb{E}_{x\sim\mathcal{D}_{d}}\left[\frac{1}{K}\sum_{k}\frac{1}{L_{k}}\sum_{\ell}\ell^{\mathrm{GRPO}}_{k\ell}(\theta)\right]$

这个位置的划分顺带把算力账说清楚了：筛选与重加权都在 rollout 之后，省不掉任何生成开销；筛选不做重归一化，会真实减少参与更新的 token 数；重加权保持均值一，token 数不变。

关键创新：干预点与信号分开。 这是全篇最值得抄走的设计。per、softmax、topk 三个方法用同一个信号——响应的平均绝对优势 $a_{gk}=\frac{1}{L}\sum_\ell|A_{gk\ell}|$ 。前两个把它变成连续权重（ $w\propto(a+\epsilon)^{0.5}$ 与 $w\propto\exp(a/T)$ ），第三个用它做硬筛选（保留批内得分最高的 50%）。三个方法摆在同一个信号上，问的就变成了一个干净的问题：同一个信号，用来重加权好，还是用来筛选好。

反过来看，DAPO 的通过率过滤与 PODS 的方差最大化用的是不同信号，做的却是同类干预；Advantage Reweighting 与 PER 用的是相近的「惊讶度」直觉，一个做连续权重一个做优先级采样。原文献的分类方式（按方法名）会把这些差异混在一起，论文的二维表格（族 × 信号 × 干预 × 粒度）把它们拆开了。

与基线方法的区别。 统一的对照臂是三域等概率采样 + 掩码全 1 + 权重全 1。13 个配置里 difffilter（更严的 DAPO 式过滤，保留通过率落在 $[0.2,0.8]$ 的整组）、maxvar（PODS，保留使奖励方差最大的一半响应）、gfpo（按 $r_i/L_i$ 保留组内前 3）、topk 属筛选；ar、per、softmax、diffband 属重加权；reward_gap、dump_ucb、tscl 属混合自适应。

工程侧做了三件保证可比性的事。一是共享 driver：每个方法只在三个干预点之一注册自己的信号、算子与超参，rollout、验证、优化、评测代码完全共用。二是匹配种子：种子从训练一路带到最终评测。三是校准冒烟测试：训练与评测的格式可以在「训练看起来完全正常」的情况下错位，所以每个 campaign 开跑前先在参考检查点上验一遍 boxed 答案与多选题的解析；15,000 条训练 prompt 与全部评测题做了审计，无精确或归一化匹配，13-gram Jaccard 相似度无一超过 0.5。

3 实验结果

主要指标。 主实验在 Qwen2.5-7B-base 上做，未训练检查点 42.01 分，均匀 GRPO 49.77 分，差 +7.76（95% CI $[7.28,8.25]$ ）。这个数字的作用是排除「模型压根没在学」这一替代解释。

8 种筛选与重加权方法相对均匀采样的配对结果（Table 4，12 匹配种子）：

方法	族	均分	配对 $\Delta$	95% CI
`difffilter`	筛选	49.85	+0.08	$[-0.67,0.82]$
`maxvar`	筛选	49.19	−0.58	$[-1.39,0.23]$
`gfpo`	筛选	48.88	−0.90	$[-1.87,0.08]$
`topk`	筛选	49.39	−0.38	$[-1.14,0.38]$
`ar`	重加权	49.50	−0.28	$[-1.15,0.60]$
`per`	重加权	48.92	−0.86	$[-3.28,1.57]$
`softmax`	重加权	49.54	−0.23	$[-1.44,0.98]$
`diffband`	重加权	49.75	−0.02	$[-0.61,0.57]$

八个区间全部包含零。论文的表述是：包含基线在内九种策略的均值跨度 0.97 分，约为 GRPO 本身 7.76 分增益的八分之一。

3 种自适应混合相对固定等比例混合（Table 5）：reward_gap +0.45（ $[-0.09,1.00]$ ）、dump_ucb +0.61（ $[-0.02,1.25]$ ）、tscl +0.16（ $[-0.61,0.93]$ ）。训练日志确认这些方法确实改变了实际域比例，区间依旧全部包含零。

跨模型与规模。 Llama-3.1-8B-base 上，未训练 10.87，均匀 GRPO 21.12，+10.25（ $[7.75,12.33]$ ）。三个原始筛选器的配对差是 difffilter −1.09、 maxvar −0.71、topk −0.26，区间全部包含零。Table 7 的规模扫描覆盖 Qwen2.5-1.5B/3B/7B/14B 与 Llama-3.2-3B，符号随模型翻转，没有单调规律。

消融实验关键发现。 Table 9 的选择器诊断拆了三个替代解释：匹配随机（保持同样的保留数量但随机选）、匹配更新 token 数（训到用掉的 token 数不低于 300 步基线）、替代强度（放宽过滤带或改保留比例）。三条控制把三个筛选器推向不同方向——定向选择在 maxvar 与 topk 上超过匹配随机，在 difffilter 上没有；匹配更新 token 数抬高 difffilter 与 maxvar，却压低 topk。没有任何单一的「定向性 / 更新量 / 强度」解释覆盖全部三个方法。

论文自己给出的唯一正信号不在 headline 指标上。 附录 8.2 的响应效率分析里，gfpo 与基线在五个数学基准上的观测精度是 72.21% 对 72.19%，几乎相同；gfpo 把平均响应长度从 1568 字符压到 1497 字符，每千字符正确答对数从 0.461 抬到 0.482。

4 个人分析

亮点

二维分类法是可复用的基础设施，不只是本篇的组织方式。 把「改什么」和「凭什么改」拆开之后，per/softmax/topk 这组同信号对照就能直接回答「这个信号适合做权重还是做掩码」。已有文献里这类问题从来没有被正面问过，因为方法名把两件事捆死了。任何一支做 RL 后训练的团队，都可以照这个表格给自己的数据策略建一套对照。

自曝评估器缺陷，并把校准做成流程。 论文写明 Llama 上早期 14–16 分的结果是「一个把不支持的数学任务静默判零的评估器」产生的，已排除，修正后为 21.12。这不是小修小补：摆幅 5–7 分，是本文要测的方法跨度 0.97 分的 5.2 到 7.2 倍。作者顺手把它变成了校准冒烟测试与训练集污染审计（13-gram Jaccard < 0.5），这两件东西的复用价值高于论文的结论本身。

域覆盖实验的设计是干净的。 用同一批运行重算不同汇总方式，把「排名变了」定位到「少了 logic 域」而不是「权重怎么设」——留一法相关性 0.78 到 0.98，说明只要 12 个基准都在，怎么加权都差不多。

局限性

一、论文自己的两个「同一配方」控制行差了 0.77 分。 Table 3 里 baseline 是 49.77，static 是 49.00。按 Table 1 的定义，两者都是「三域等概率 + 掩码全 1 + 权重全 1」，各 12 个匹配种子。Table 5 的注脚解释了一句：static 是 campaign 内的局部对照，均值不必等于 Table 4 的主均匀基线。解释成立，但论文没有把它量化。

量化之后是这样：0.77 分是 8 种方法跨度 0.97 分的 79.4%，是最大点估计 difffilter +0.08 的 9.6 倍。换句话说，把同一个配方独立跑两遍，得到的差距已经接近把所有方法排一遍序得到的全部差距。

二、「三个混合都无效」是 95% 阈值下的结论，换 90% 就翻盘。 配对 t 区间关于点估计对称，可以按 $t_{0.95,11}/t_{0.975,11}=0.816$ 直接缩放：

方法	点估计	95% CI	90% CI	结论
`reward_gap`	+0.45	$[-0.09,1.00]$	$[+0.005,+0.895]$	排除零
`dump_ucb`	+0.61	$[-0.02,1.25]$	$[+0.092,+1.128]$	排除零
`tscl`	+0.16	$[-0.61,0.93]$	$[-0.468,+0.788]$	包含零

下界分别是 −0.09 与 −0.02，离跨过阈值只差 0.09 与 0.02 分。同一批数据在 90% 水平下给出的读法是「三分之二的自适应混合有效」。用 95% 无可厚非，正文只报「全部包含零」而不报「点估计全为正、两个逼近阈值」，读者拿到的信息是不完整的。

三、gfpo 在 90% 水平下是显著为负的。 点估计 −0.90，90% CI $[-1.696,-0.104]$ 。这是 8 种方法里唯一一个在更宽松阈值下也能排除零的，方向是负。结合下面第五条，gfpo 与 maxvar 构成了全篇最接近「可复现」的两个信号，两个都是负的。

四、 $\rho=-0.33$ 这个负相关本身不显著。 九个配置，Spearman $\rho=-0.33$ 对应 $t(7)=-0.93$ ；n=9 双尾 $\alpha=0.05$ 的临界值是 0.683，Kendall $\tau=-0.28$ 的临界值约 0.556。两个都远远够不着。一篇以「没有足够种子就分辨不出差异」为核心论点的论文，用 9 个配置 × 3 种子去下一个相关性结论。方向性提示有价值，把它写成第三条贡献的量化结论则过强。

五、Overall 这个 headline 指标在结构上就倾向于报告 null。 我用 Table 3 的 12 个基准重算了 13 行的域均值（重算的 Overall 与论文 13 行全部吻合到 ±0.01 分），得到三个域的方法间跨度：MATH 1.94、LOGIC 2.07、SCIENCE 1.04，而 Overall 只有 0.97。域间协方差几乎为零： $\mathrm{cov}(M,L)=-0.033$ 、 $\mathrm{cov}(M,S)=-0.008$ 、 $\mathrm{cov}(L,S)=+0.127$ 。若三域效应独立，Overall 的方法间标准差应为 $\sqrt{(s_M^2+s_L^2+s_S^2)/9}=0.286$ ，实测 0.318，比值 1.11——Overall 那点离散度基本就是「三个互不相关的域效应被平均」这一件事的全部结果。

推论有两层。一层是论文自己强调的：方法在域之间存在权衡，LOGIC 上强的 MATH 上未必强（域均值排名的 Spearman $\rho(M,L)=-0.03$ ）。另一层论文没说：既然三个域的效应互不相关，任何「三域平均」的 headline 都必然把域级约 2 分的动作收缩到约 1 分。这不是数据策略没有作用，这是度量方式把它平均掉了。

前面五条指向同一件事：这个 null 结果里，有一部分是度量方式的产物，有一部分是统计精度的产物。后面几条指向论文自己没覆盖到的地方。

六、论文证明了 3 个种子不够，却用 3 个种子跑了三组支撑分析。 §5.2 自己写道：topk 在原始 3 种子子集里排第一，到 12 种子时均值最高的变成 difffilter，topk 反而落到基线以下。这是一次干净的「少种子选错赢家」的实证。Table 7 的规模扫描（除 7B 锚点外全部 3 种子）、Table 8 的口径实验（9 配置 × 3 种子）、Table 9 的选择器诊断（3 种子）恰好都落在这个已被证伪的种子数上。591 次运行里，13 配置 × 12 种子的主区块是 156 次，占 26.4%。

七、统计功效的边界没有被翻译成读者能用的数字。 由 Table 4 的区间半宽反推（ $n=12$ ， $t_{0.975,11}=2.201$ ），各方法的配对差标准差在 0.93 到 3.82 之间，平均半宽 1.05 分。要在同样设定下分辨 0.5 分的效应，diffband 需要约 13 个种子，gfpo 需要 36 个，softmax 需要 56 个，per 需要 224 个。「没有可复现增益」的准确读法是「增益小于约 1 分，这个实验测不出来」。作者在结论里明确写了不主张等价性、不排除更长训练或其他超参下的增益，态度是诚实的，摘要的措辞则比正文更容易被读成「数据策略没用」。

八、per 的方差是其他方法的 2 到 4 倍，论文没有点名。 per 的配对区间宽 4.85 分，其余七种在 1.18 到 2.42 之间。 $w\propto(a_i+\epsilon)^{0.5}$ 这个形式在优势值长尾分布下会放大权重方差，直接后果是训练更不稳定——这本身就是一个关于「按优势开方加权」的负面证据。正文只用一句「四个重加权估计的范围是 −0.86 到 −0.02」带过。

九、Table 7 里唯一符号一致的方法是 maxvar，五行为负。 相对均匀基线的差依次是 1.5B −1.18、3B −0.55、7B −0.58、14B −0.84、Llama-3.2-3B −1.69，均值 −0.97。五行同号的概率在随机符号假设下是 $2/32=6.25\%$ 。论文把这一列归入「no monotone advantage for any method」，可它恰恰是全表最有结构的一列，方向是负——方差最大化采样在五个模型/规模上一致地略微有害。

最后一条关于缺失的东西。实验设置写了「除非 campaign 明确研究 1000 步训练」，全文没有任何 1000 步的结果表；数据策略在长训练下是否生效，是本文结论最主要的适用范围限制，却没有数据支撑。591 次运行、13 配置 × 12 种子的规模，全篇也没有 batch size、GPU 型号或卡时的任何声明，读者无从判断这个对照的复现成本。

对大模型领域的影响

这篇论文的靶子不是某一个方法，是 RLVR 论文里一种常见的归因习惯：把整套配方换掉后涨了 3 分，归给其中那个有名字的数据处理模块。DataFlex-RL 给出的证据说明，在固定其余条件后，DAPO 式过滤、PODS 式采样、Advantage Reweighting、GFPO、DUMP、TSCL 这些模块单独拿出来，在 12 种子精度下都测不出超过约 1 分的作用。这不等于它们有害，也不等于它们无效，等于它们的发表增益里，属于数据策略的那一部分尚未被单独证明过。

对本专栏追了十一期的主线，这篇是一次方向反转。前面几期分别在问「教师要不要」「数据要多少」「信号怎么摆」「哪些 token 值得学」，每一期都默认了「挑对数据就有收益」这个前提。DataFlex-RL 问的是更靠前一步：在 RLVR 这个层次上，挑数据的收益大到量得出来吗。 给出的答案是在当前精度下量不出来。

值得留意的还有「收益在 headline 之外」这一点。gfpo 的精度是平的（72.21% 对 72.19%），长度降 4.53%，每千字符正确率升 4.56%。用 Overall 判它无效，用的是一把看不见长度与效率的尺子。数据策略的真实收益如果存在，很可能压在响应长度、收敛速度、域间平衡这些不在标量平均分里的维度上。

5 实践启示

可以借鉴的技术。

干预点 × 信号的二维对照表。 给自家的 RL 训练管线建一张同样的表：横轴是「改掩码 / 改权重 / 改采样分布」，纵轴是「通过率 / 优势 / 奖励 / token 概率 / 效率」。任何新提出的数据策略先落到格子里的哪一格，再去找同信号不同格子的对照。这一个动作就能挡掉相当一部分伪增益。
三个免费的控制臂。 匹配随机（保持干预量级但去掉定向性）、匹配更新 token 数（排除「其实只是少训了一点」）、替代强度（排除超参巧合）。Table 9 证明这三条足以推翻「增益来自定向性」的默认解释。
校准冒烟测试与训练集污染审计。 训练与评测格式错位不会产生任何训练期的报错，只会静默污染分数。开跑前在参考检查点上验一遍答案解析，再把训练 prompt 与评测题做 n-gram 相似度审计，成本极低。
报域级分数，不只报平均。 Table 3 的 12 个基准重算成三个域均值之后，域间协方差近零这件事才看得见。只报一个 Overall，等于默认了三个域的效应会同向。
把区间半宽当成一等结果。 报告「本次实验能分辨的最小效应是 X 分」，比报告「无显著差异」对后来者有用得多。

潜在应用场景。

内部 RL 训练的 A/B 框架。 有固定算力预算的团队，最实际的用法是把 DataFlex-RL 的三干预点接口接到自家的 verl 管线上，任何新想法先过一遍 12 种子对照再决定要不要上主干。
论文评审与复现清单。 「是否匹配种子」「是否报配对区间」「是否报域级分数」「是否有匹配随机臂」这四条可以直接当审稿时的核对清单。
算力预算的重新分配。 若目标是验证一个预期小于 1 分的数据策略改动，按本文反推的功效，12 种子基本不够。这笔预算花在「更强的验证器」或「更大的域覆盖」上，回报更确定。
效率优先于精度的场景。 gfpo 那笔账（长度 −4.53%、每千字符正确率 +4.56%、精度持平）对在线推理成本敏感的业务是实打实的收益。这类收益不会出现在任何平均分榜单上，需要单独设指标去测。

一句反向提醒。 不要把本文读成「数据筛选可以停了」。它证明的是：在 300 步、12 种子、域平衡 Overall 这个特定刻度下，八种筛选与重加权的作用低于约 1 分的检测限。换更长的训练、换单域指标、换效率指标，结论都有可能不同——作者自己在结论里划了这条边界，摘要没有。

参考文献

Liang, H., Chen, M., Feng, H., Qiang, M., & Zhang, W. (2026). DataFlex-RL: An Evaluation Platform for RLVR Data Policies. arXiv:2609.06107 [cs.LG]. Peking University; University of Chinese Academy of Sciences; Institute for Advanced Algorithms Research, Shanghai; Zhongguancun Academy.