研究提案已修订

模式重放缓冲的准入、漂移与封顶三重记账：面向 RLVR 解法多样性的可刷新重放账本 ADEL

针对 Re:Max 模式重放缓冲以字典序最小样本永久冻结、M=16 无淘汰封顶、重放权重按单一参考构型一次性标定这三处未记账决策，提出准入—漂移—淘汰三层账本 ADEL，把「模型记住了哪一条解法、何时该换、槽位满了让谁走」变成可审计的数据工程问题。

2026年10月10日 RLVR 训练数据工程训练数据策展解法多样性模式塌缩经验重放强化学习

背景与动机

强化学习配可验证奖励（RLVR）只奖励答案对不对，不在乎模型用的是哪一种解法。同一道题的第十次复述和第一百次复述拿到同样的奖励，概率质量单向聚拢到少数几条熟路上。ModeBench 把这件事量化了：前沿模型在 Level 1–3 上的归一化正确率是 .991，平均 PCMD 却只有 .232，低于最优 sub-2B 模型的 .570，而后者的正确率只有 .273。正确率饱和与解法模式塌缩是两条独立的轴。

Re:Max 给出的干预很干净。每个训练提示词配一个重放缓冲，验证器判定为有效解法的每一个模式存一条样本，用均匀权重反复排练，重放损失与新鲜 rollout 的 RL 更新分走两条支路。实验覆盖 Qwen2.5-0.5B / Falcon3-1B / Qwen2.5-3B 三档规模、五个域、每档五个配对种子。

这里必须先说清对照臂：§5.2 与附录 E.8「Uniform versus fresh-frequency replay」报告的 +.318 是「均匀重放相对频次加权重放」之差（每提示词额外已验证模式数 $B_8$ ，五域聚合，配对种子 bootstrap 区间 [+.272, +.358]，五个种子内均为正），只在 Qwen2.5-0.5B 一档给出，不是相对无重放对照的收益；同一组对照下 §5.2 给出 Graph 域上多恢复约 0.6 个模式、pass@8 推高 6.6 个百分点。相对无重放对照的收益另见下节 Table 1。

同档（Qwen2.5-0.5B、ModeBench Level 1、相对 Dr.GRPO）的 Table 1 给出可对齐的复现锚点：Re:Dr 的 $\Delta\texttt{pass@8}$ 五域均值 +.337（Graph +.646、Countdown +.191、Python +.356、MathIR +.285、PantryPlan +.207）， $\Delta\texttt{PCMD}$ 五域均值 +.294（Graph +.559、Countdown +.480、Python +.082、MathIR +.017、PantryPlan +.334）；Re:Max 两列均值为 +.358 与 +.320。塌缩侧的极端例子同样刊出：Qwen2.5-3B 在 Python 域上，Dr.GRPO 后训练把「能以多种解法通过的留出提示词」从 128 条中的 73 条压到最少 22 条，且三个目标 × 五个域共 15 组比较中有 14 组在 RLVR 后解法模式数下降。

这套机制里有三处决策被做死了，且没有任何一处进入过账面。

第一处是准入。附录 D.3 写明：同一模式被多次首次实例化时，保留归一化响应 token 序列字典序最小的那条，理由是让样本选择不依赖 rollout 顺序。这个理由成立，代价是准入规则与样本质量彻底脱钩，字典序是一条不含语义的全序。§3.2「Replaying distinct verified successes」又写明第一次出现的已验证模式存一条样本、后续重发现不修改缓冲，于是这条字典序最小的样本被冻结到训练结束。

需要把话说准：作者并非「从未意识到样本质量」，而是在附录 D.6 明确声明了相反的取舍——「重放给已发现模式相等的缓冲表示，不引入对样本质量的独立学习排序」「除生成长度限制与可执行验证器外，不施加额外的响应长度或质量过滤器」，目的是让重放目标与基准的「已验证替代解法」定义保持一致。所以这里的缺口不是遗漏，是有意放弃的一层：长度与质量的差异在损失侧被 mean-token 归一化抹平（ $\ell_m=|e_m|^{-1}\log\pi_\theta(e_m\mid z)$ ，长样本不额外占条目、也不额外占权重），但在准入侧完全不参与决策。ADEL 的 $\sigma(e)$ 正是要把这一层显式重建，而不是纠正一处错误。

论文在第 G 节做过迁移：21 道来自 CodeContests+ 与 CodeContests-O 的人工 Codeforces 题（8 训练、13 开发），Qwen2.5-Coder-7B-Instruct， $2\times2$ 因子交叉 Dr.GRPO 与 MaxRL、重放开与关，每臂五配对种子、128 次更新，模式身份由冻结隐藏输入套件上的规范见证签名定义。Re:Dr 相对 Dr.GRPO 的新鲜 rollout 验证率只高了 +.014（[+.005, +.023]），Re:Max 相对 MaxRL 同样 +.014（[-.002, +.031]），池化十对后仍为 +.014（[+.007, +.021]，十对中九对为正）。这一档提升与「准入侧不含质量信息」放在一起读，需要拆开。

第二处是漂移。样本一旦入库就是一段固定字符串，重放项是在原提示词上 teacher forcing 的无条件负对数似然，没有基线，也没有 trust region。权重取 $\lambda_{\mathrm{replay}}(G-1)/G^2$ 的理由是匹配规模为 $G$ 的中心化 Dr.GRPO 组中单条成功响应的贡献，即按一个参考构型一次性标定。新鲜项的 advantage 幅度随正确率饱和而收缩，重放与新鲜两项的相对强度于是成为随训练漂移的量。在其 arXiv HTML 全文（含附录与参考文献）中检索 stale、off-policy、refresh 三个词，命中数均为 0。

第三处是封顶。每个缓冲最多容纳 $M=16$ 个模式，不淘汰（附录 D.3 原文：modes discovered after the buffer is full receive no replay support），等效的准入规则是先到先得。 $|\mathcal{B}_x|$ 的分布、训练结束时的饱和率、被封顶拒绝的模式发现数，全文未刊出任何统计量。

容量轴上并非全无证据，现有的是一条下界：附录 Q.5 的单槽（ $M=1$ ）重放恢复了 Re:Dr 相对对照的聚合多样性改善的 58%，pass@8 从对照的 .444 升到单槽的 .707，Re:Dr 为 .796；在 25 个域—种子配对格上，Re:Dr 比单槽高 .155 PCMD（[+.071, +.239]），且在 Graph 与 Countdown 上最大。这条消融把重放的收益拆成「留住过去成功」与「跨模式均衡排练」两部分，但它只覆盖了 $M=1$ 与 $M=16$ 两端，中间的容量—收益曲线、以及训练结束时到底有多少缓冲真的触到 16，依然是空白。

三处合起来指向同一个缺口：Re:Max 证明了记住模式有效，没有回答记住了哪一条、什么时候该换、槽位满了让谁走。

核心思路

提出 ADEL（Admission–Drift–Eviction Ledger），一个挂在 Re:Max 缓冲外侧的三层账本，外加一套口径不变性协议。它不改动新鲜 rollout 的 RL 目标，也不触碰验证器对模式的定义，只接管缓冲里那 $M$ 个槽位的生命周期。

准入账本把字典序最小换成带语义的准入分。对每个候选样本 $e$ 计算 $\sigma(e)$ ，三项加权：验证裕度（同一模式在扰动执行或多次重跑下的一致性）、长度惩罚、入库时刻策略对该样本的 mean-token logprob。缓冲允许超期替换，后到的样本在 $\sigma$ 上超过在册样本一个滞后带 $h$ 时才替换，避免抖动。每次替换记录 $\Delta\sigma$ 与模式级替换计数 $n^{\mathrm{sup}}_m$ ，替换率本身进入报表。

漂移账本给每个在册样本标两个量。漂移 $\delta_m(t)=\ell_m^{(0)}-\ell_m^{(t)}$ 是入库时与当前的 mean-token logprob 之差。可达度 $\rho_m(t)$ 取当前策略下该样本的 mean-token logprob 与同提示词新鲜成功响应均值的比。 $\rho$ 长期低于下界而 $\delta$ 持续为正的样本属于惰性重放：它照常吃掉梯度份额，概率却拉不回来。对惰性样本做软门控，并把 $\lambda_{\mathrm{replay}}$ 从常值改为与新鲜项梯度范数对齐的自适应量，逐 checkpoint 记录实际比值 $\Lambda(t)$ 。

淘汰账本把先到先得换成按脆弱度出让。槽位满而新模式出现时，淘汰当前 $\rho$ 最高的那条，也就是最不需要排练的那条，把槽位让给新发现。报表固定刊出三项： $|\mathcal{B}_x|$ 的分布、饱和率 $s=\Pr[|\mathcal{B}_x|=M]$ 、被拒发现数 $d_x$ 。

口径不变性处理一个更隐蔽的问题。每模式的重放权重是 $1/|\mathcal{B}_x|$ ，分母是验证器模式划分的粒度。附录 D.5 已指出只判最终答案的验证器会把不同推导并成同一模式，附录 L.2 也做过划分敏感性，报告的增益始终落在某一个粒度上。ADEL 固定每提示词的总重放质量、让槽位数随粒度浮动，并在最终答案等价与执行状态轨迹等价两种划分下各给一条模式数—PCMD 粗化曲线，把增益定位成曲线上的一个区间而非一个点。

与已有做法的分界线在这里。Re:Max 比较的是重放哪些模式，均匀对频次加权在附录 E.8 已经做过；ADEL 比较的是每个模式记住哪条样本、何时换、槽位紧张时让谁走。Semantic-MaxEnt、SetPO、GAPO 一类方法通过修改 on-policy 奖励或 advantage 换多样性，ADEL 留在独立的重放损失支路上，对 RLVR 算法保持可插拔。

技术路线

Stage 0 做复现与仪器化。在 Re:Max 的缓冲实现上外挂账本，不改动优化目标，先确认复现基线落在原报告的区间内。沿用附录 B.6 设置表：每域每级 384 训练提示词与 128 互不重叠评测提示词（评测提示词不参与训练或重放）， $G=16$ 、温度 $1$ 、top- $p=1$ 、每次优化器更新一个提示词组，训练集八遍共 3072 次优化器更新、每批一个 PPO epoch，对称 PPO 裁剪 $\varepsilon=.2$ ， $\lambda_{\mathrm{replay}}=.10$ ，每条件五配对种子。

复现判定落到三个可核对的数字上：Qwen2.5-0.5B / Level 1 下 Re:Dr 的五域均值 $\Delta\texttt{pass@8}=+.337$ 与 $\Delta\texttt{PCMD}=+.294$ （Table 1），以及附录 G 迁移设置下新鲜 rollout 验证率 $+0.014$ （区间 [+.005, +.023]）。三者落在原报告区间内才进入 Stage 1，否则先修仪器化再谈账本。

Stage 1 建占领账本，对应 P1。不改任何行为，只把 $|\mathcal{B}_x|$ 的轨迹、饱和率、被拒发现数记下来，按域与规模分层。这一步的输出是后面四步的判定依据。

Stage 2 做准入替换，对应 P2。实现 $\sigma(e)$ 与滞后替换，扫描 $h\in\{0,.05,.15\}$ 。对照臂是只改首条样本的准入、入库后不换，用来把选得好与持续更新这两个效应分开。

Stage 3 做漂移门控与自适应权重，对应 P3。实现 $\delta$ 、 $\rho$ 与软门控，扫描门控下界与 $\lambda_{\mathrm{replay}}$ 的自适应目标比值，报表给出惰性重放占比随训练的曲线。

Stage 4 做脆弱度淘汰，对应 P4。在固定 $M$ 下比较三种槽位策略：先到先得、随机淘汰、按 $\rho$ 降序淘汰。再做一组 $M\in\{8,16,32\}$ 的交叉，检验脆弱度淘汰能否用小缓冲换取大缓冲的多样性。

Stage 5 做口径不变性与外部迁移，对应 P5。在两种模式划分下各跑一遍 Stage 2–4 的最优配置并给出粗化曲线。迁移侧沿用附录 G 的人工编程题设置：CodeContests+ 与 CodeContests-O 的 21 题（8 训练、13 开发），模式身份由冻结隐藏输入套件上的规范见证签名定义，Qwen2.5-Coder-7B-Instruct， $2\times2$ 因子交叉 Dr.GRPO 与 MaxRL、重放开与关，五配对种子，128 次更新。

四个技术挑战需要正面处理。附录 P.3 的固定缓冲分析假设槽内样本不变（定理原文即写「subsequent rediscoveries do not modify the buffer」），超期替换会让定理前提失效，需要把条件从固定样本放宽到固定模式槽位加有界替换频次，并给出替换下的新下界；拿不出新下界时退而用经验性的替换率上限约束。 $\rho$ 由当前策略算出，用它做门控会形成反馈环，处理办法是滞后更新，用上一 checkpoint 的估计值驱动当前门控。淘汰改变了每个缓冲的重放工作量，与原论文的确定性 round-robin 调度耦合，附录 Q.1「Matched schedule and compute controls」那套等算力控制必须按新工作量重做，否则对照会失真。划分粒度变化时 $|\mathcal{B}_x|$ 变，PCMD 的分母跟着变，两个数字都不再可比，必须联合报告。

还有第五条挑战原文未列： $\sigma(e)$ 里的「验证裕度」要求在同一模式上做扰动执行或多次重跑，这在 ModeBench 的可执行验证器下可行（MathIR 等域本来就有基于执行状态轨迹的模式身份），但一旦模式身份来自学习式判定器，裕度估计会与判定器误差耦合， $\sigma$ 就不再是独立于验证器的量。处理办法是把 $\sigma$ 拆成「验证器内生的裕度」与「策略侧的自洽度」两组分别报表，先报告各自单独的效应，再报告合成效应。

预期成果

定量目标按阶段给出，每条附终止线。

P1 刊出饱和率与被拒发现数的分层分布。若训练结束前触顶的缓冲比例不低于 20%，则原主结果实测于一个被截断的缓冲，封顶是紧约束。若该比例低于 5%，封顶不构成约束，P4 主轴作废，改在合成高模式数域上做压力测试。

P2 要求准入替换使入库样本长度与入库时 mean-token logprob 一起改善，PCMD 相对 Re:Max 提升不低于 +.05（等算力）。若替换反而使 PCMD 下降，说明持续更新引入了训练分布抖动，退回只入不换，准入分仅用于选择首条样本。

P3 要求惰性重放占比降到 10% 以下且 pass@8 不下降。若 pass@8 下降超过 2 个百分点，说明惰性样本实际在提供正则作用，门控改为上界约束，限制单条样本占用的重放质量份额，而不是硬门。

P4 要求按 $\rho$ 降序淘汰在 $M=16$ 上匹配现状在 $M=32$ 上的 $\texttt{distinct@8}-\texttt{pass@8}$ ，即把槽位需求减半。若三种淘汰策略无差异，说明瓶颈在调度而不在槽位分配，报告零结果并把结论收敛到 round-robin 调度本身。

P5 给出两条模式数—PCMD 粗化曲线，把已发表的增益标在曲线上，明确它在多大粒度范围内成立。

定性影响有两层。方法层，RLVR 的重放缓冲从一个启发式容器变成带账本的数据结构，模型还记得几种解法这句话从此可审计。工程层，ADEL 是只依赖验证器模式身份、不依赖具体 RLVR 算法的外挂模块，可直接接进现有的 RLVR 数据流水线，它把该不该扩大缓冲这类算力决策换成饱和率是多少、惰性占比多少这两个可测量的问题。

局限性与失效模式

五域均是可执行验证器域，模式身份外生给定。 Graph、Countdown、Python、MathIR、PantryPlan 五个域的模式身份都由可执行验证器判定，ModeBench 才得以不需要学习式判定器或嵌入相似度阈值（附录 D.5 明说这是它能做确定性重放的前提）。ADEL 的三层账本全部依赖模式身份可计算，一旦迁移到开放式任务用学习式判定器定义模式，准入账本的「同一模式」前提先失效。附录 G 的 21 题迁移只说明机制能跨到人工题，没有说明它能跨到学习式模式定义。
准入分的三项权重本身是新的超参。 把字典序换成 $\sigma(e)$ 的同时引入了三个权重与滞后带 $h$ ，扫描只覆盖 $h$ 三个取值，没有覆盖三项权重的相对尺度。若权重组合敏感，P2 的结论会退化成「在某一组权重下成立」。
$\rho$ 的分母依赖同提示词新鲜成功响应的均值，冷启动期无定义。 训练早期某提示词可能一个成功响应都没有， $\rho$ 不可算。需要显式定义冷启动期的默认行为（例如一律不门控），否则 Stage 3 的惰性占比曲线在早期段是缺失值而非零值。
漂移门控与自适应 $\lambda_{\mathrm{replay}}$ 耦合， ablation 不干净。 两者都改变重放项的梯度份额，Stage 3 把门控下界与自适应目标比值放在一起扫描，若出现主效应需要拆开分别报告，否则无法归因。
淘汰只在槽位紧时才起作用，而槽位是否紧本身就是 Stage 1 要测的。 若 P1 测出饱和率低于 5%，P4 整体作废——本提案的终止线已写明这一点，但这也意味着 Stage 4 的算力预算在 Stage 1 出结果前无法确定。
口径不变性只做两种划分，粒度轴是离散而非连续的。 最终答案等价与执行状态轨迹等价是两端，中间存在大量可行划分（附录 D.5 举了学习式判定器与结构化等价规则）。两条粗化曲线定位出的区间，外推到第三种划分时无保证。

引用核验记录

#	声明	出处	核验方式	结果
1	ModeBench 前沿模型 Level 1–3 归一化正确率 `.991`、平均 PCMD `.232`、最优 sub-2B 模型 `.570` / `.273`	2610.11064 §2.3 / §5	arXiv HTML 全文逐字比对	✅ 四项全对
2	均匀重放每提示词额外已验证模式数 `+.318`	2610.11064 §5.2 正文 + 附录 E.8	HTML 全文	⚠️ 仅见于 Qwen2.5-0.5B；🔴 终审补口径：对照臂是频次加权重放而非无重放对照，已订正
3	Graph 多恢复约 `0.6` 个模式、pass@8 `+6.6` 个百分点	2610.11064 §5.2	HTML 全文	✅ 同上，同属均匀 vs 频次加权对照
4	Table 1 复现锚点（Re:Dr `+.337` / `+.294`，Re:Max `+.358` / `+.320`）	Table 1（Qwen2.5-0.5B, Level 1）	HTML 全文表格	✅ 新增
5	Python 域 128 条中 73 → 22；15 组比较中 14 组模式数下降	2610.11064 §5.1	HTML 全文	✅ 新增；口径订正：15 = 三个目标 × 五个域，非 15 个域
6	附录 D.3：字典序最小样本、 $M=16$ 、无淘汰、封顶后新模式无重放支持	附录 D.3 正文	HTML 全文逐句	✅ 逐句对上
7	§3.2 后续重发现不修改缓冲	§3.2 正文与定理 P.3 前提	HTML 全文	✅ 两处均出现
8	附录 D.6 明确声明不加质量/长度过滤器	附录 D.6	HTML 全文	🔴 订正：原文「从未被记账」不成立，系有意取舍，已改写
9	重放权重 $\lambda_{\mathrm{replay}}(G-1)/G^2$ 匹配中心化 Dr.GRPO 组单条成功响应贡献	§3.2 / Algorithm 1	HTML 全文	✅
10	附录 G：21 题（8 训练 / 13 开发）、Qwen2.5-Coder-7B-Instruct、 $2\times2$ 、五配对种子、128 次更新、规范见证签名	附录 G	HTML 全文	✅ 新增 Re:Max vs MaxRL 同为 `+.014`
11	附录 Q.5 单槽恢复 `58%`、pass@8 `.444`→`.707`→`.796`、Re:Dr 高于单槽 `.155` PCMD	附录 Q.5	HTML 全文	✅ 新增
12	$M=16$ 、 $\lambda_{\mathrm{replay}}=.10$ 、round-robin 确定性调度	附录 B.6 设置表	HTML 全文	✅
13	384 训练 / 128 评测、 $G=16$ 、八遍 3072 次更新、 $\varepsilon=.2$	附录 B.6 设置表	HTML 全文	✅ 逐项对上
14	HTML 全文检索 `stale` / `off-policy` / `refresh` 命中数均为 0	全文（含附录与参考文献）	剥标签后计数	✅ 三者均为 0，成立
15	附录 D.5：最终答案型判定器把不同推导并成同一模式；MathIR 用执行状态轨迹定义模式	附录 D.5	HTML 全文	✅
16	附录 L.2「Sensitivity to solution-mode identity」、E.8「Uniform versus fresh-frequency replay」、P.3「Replay preserves stored modes」	目录与各节正文	HTML 全文	✅ 标题与内容均对上
17	Q.1 等算力控制的准确标题	附录 Q 目录	HTML 全文	⚠️ 实为「Matched schedule and compute controls」，非字面 matched-compute，已订正
18	五条参考文献的标题 / 作者 / 日期	arXiv abs 页 `citation_*` meta	逐条 curl	✅ 五条全对（2610.11064 五位作者；2503.20783 八位；2503.14476 三十五位；1811.11682 五位；2610.10536 两位）

订正汇总：编辑 2 处——+.318 的规模归属（第 2 条）、「样本质量从未被记账」的措辞（第 8 条，系作者有意取舍而非遗漏）。另 1 处术语订正（第 17 条）。

终审追加 2 处口径订正：① +.318 与 Graph 的 0.6 / 6.6 三点全部出自「均匀重放 vs 频次加权重放」这一组内对照（附录 E.8 / §5.2），原文未标对照臂，易被读成相对无重放对照的收益（第 2、3 条）；②「15 个域中 14 个」实为三个目标 × 五个域共 15 组比较中的 14 组（第 5 条）。