精读：SPADE——把环境设计本身变成可训练的组件

1 论文概览

一句话总结：SPADE 让同一个 LLM 分饰两角——一个写可执行的 Gym 风格训练环境，一个在里面做题——并用「给了提示能做出、不给提示做不出」的回报差作为环境设计者的奖励，从而让训练环境的难度分布随着智能体能力一起往上长。

核心问题：RLVR 时代真正的瓶颈已经不是模型，而是「可验证的交互环境」的供给。论文开篇给出一组行业数字：主要实验室的环境预算正在逼近每年十亿美元量级，一批创业公司以九位数的融资专门供应环境（Zeff, 2025；PYMNTS, 2026）。问题在于，无论人工构建还是程序化合成，这些环境构成一个固定池——它不随学习者变强而变化，智能体一旦吃透就停止进步。

作者把已有路线各自的缺口拆得很清楚：harness 工程不改权重，能力绑死在手工 harness 上；人工环境扩展受限于人的产能；程序化合成的生成器是冻结的，环境空间不随智能体增长；自博弈受信息对称所限，提不出超出自身知识的挑战，还会放大自身错误。更关键的一刀是：此前的方法大多生成的是「任务」（带稀疏终止奖励的问题），而不是「完整的多轮环境」（含状态转移、奖励函数与验证代码）。

主要贡献：

1. 代码即环境的双角色自博弈框架。环境被表达为实现 reset() / step() 接口的 Python 程序，转移函数与奖励函数都编码在 step() 里，一套接口既覆盖单轮推理也覆盖多轮工具调用，把「环境设计」变成后训练中可被 RL 训练的一个组件。
2. 基于提示的遗憾奖励（hint-based regret）。环境设计者的奖励是智能体「带提示」与「不带提示」两条路径的平均回报之差，这是 PAIRED (Dennis et al., 2020) 极小极大遗憾的轻量估计，不需要独立的对抗者模型。
3. 语料锚定 + 环境记忆的设计流水线。每轮从外部语料重采样文档作为生成条件（游戏域为 DCLM 的 1 万篇数学文档与 MegaScience 的 5 千篇科学文档；工具调用域为 Nemotron 预训练代码语料的 1.5 万篇），并维护跨轮次的环境记忆。
4. 30B 规模上的系统性验证与消融。在 Qwen3-30B-A3B-Instruct-2507 上，八个留出基准的套件均值从基座 50.2 提升到 58.3，并给出「拆掉任一组件会怎样」的完整消融矩阵。
5. 对自适应性本身的归因。用 GPT-5.5 离线生成静态环境池的对照只恢复了约 35% 的增益，据此论证收益来自「共同演化」而非「生成质量」。

2 方法详解

架构：一个模型、两个角色提示

SPADE 的全部机制建立在一个很朴素的设定上：同一个策略 π_θ，通过角色专属的系统提示切换身份。role=D 时它是环境设计者，输出一段实现 Gym 风格接口的 Python 程序 e，外加一条特权提示 h——一段对解题有实质帮助的信息，比如部分解的结构性观察；role=A 时它是推理智能体，在 e 里多轮交互拿回报。两个角色的回报都通过 GRPO 回传到同一套权重。

“SPADE formulates adaptive environment self-play as a game where a single model π_θ acts in two roles via role-specific system prompts: designing environments (role=D) or solving them (role=A).” —— arXiv:2608.19197v3, §4.1

用代码表达环境的价值不只是「方便」。参数化的环境模板能表达的任务族是设计者事先想好的那一小片；而 Python 程序原则上能表达任何可计算的 MDP，环境空间的上限由模型的写代码能力决定，不再由人工枚举决定。论文承认这正是它的边界：

“(a) Complexity bounded by scale and the invisible leash. The Environment Designer cannot produce environments more complex than its base model can express in context, so reachable environment complexity grows with model scale and generation budget.” —— 同上，§9 Limitations

关键创新一：把「遗憾」变成不需要对手的奖励

环境设计者的核心奖励只有一行：

r_D(e) = r̄_A(e | h) − r̄_A(e)

也就是：同一环境，给提示时的平均回报，减去不给提示时的平均回报。这个设计的巧妙之处在于它用模型自己的、信息更多的那个版本作为上界策略，省掉了 PAIRED 里那个独立训练的对抗者。

它把问题切成了三个可判别的区域：

“Three regimes emerge: high regret indicates an environment at the learning frontier (solvable with hints but not without); low regret where the Reasoning Agent succeeds with and without the hint indicates mastery; and low regret with low returns even with the hint indicates an intractable environment.” —— 同上，§4.2

这段话值得数据工程从业者抄进设计文档。它等于一个免费的样本质量三分类器，且分类信号不来自任何外部判别器，而来自同一个策略在两种信息条件下的行为差。纯粹的对抗式设计者会把环境越出越难直到不可解；纯粹的协作式设计者会把奖励做高但不教任何东西；带提示的遗憾把动力学约束在「可解且处在能力前沿」这条窄带上。

实际部署时，这个原始遗憾会被下界截断到零，归一化到 [0,1]，然后与一个「平顶难度锚」按 0.4 / 0.6 加权混合：难度锚只给胜率落在 [0.4, 0.6] 区间的环境付钱，区间外线性衰减。分工是明确的——难度锚管难度，截断后的遗憾在同一难度带内挑最可教的那些。

关键创新二：语料锚定与环境记忆

只有自我输出作为条件的生成器，新奇性来源被限制在自己的权重里，会向已经偏好的模式收窄——论文称之为「隐形缰绳」（invisible leash, Chae et al., 2025）。语料锚定的作用是把缰绳放长：每轮从 DCLM、MegaScience 或 Nemotron 代码语料里重采样文档作为生成条件。环境记忆则从循环内部积累，两者一个管广度、一个管深度。

与基线方法的区别

论文明确的对照对象里，EvoEnv (Shi et al., 2026) 最接近——同样单 LLM 双角色、同样共享参数 GRPO。差别有三条：EvoEnv 的环境接口是单次打分（sampler / oracle / renderer / scorer），没有状态演化和步进级奖励，够不到工具调用这类多轮场景；它的生成器奖励由分阶段校验、以 30% 解题准确率为目标的难度校准和嵌入新颖性奖励组合而成；评测只覆盖单次推理基准。SPADE 的对应物分别是：完整 MDP 加 reset()/step()、带提示的遗憾、跨游戏与工具调用的评测。

3 实验结果

所有数字取自 v3 全文（arXiv:2608.19197v3），训练配置为 GRPO、400 轮 rollout、每轮 24 个环境，骨干为 Qwen3-4B-Instruct-2507 / Qwen3-8B / Qwen3-30B-A3B-Instruct-2507。

游戏域：八基准套件

配置	AIME’25	AIME’26	GPQA-D	LCB-v6	RG-Math	RG-Algo	RG-Cog	RG-Logic	均值
Qwen3-30B-A3B 基座	61.5	73.5	70.4	43.2	45.0	18.0	23.0	67.0	50.2
Fixed-env GRPO	61.2	73.8	70.9	43.7	48.1	20.3	24.6	68.4	51.4
Fixed-env RLVE	56.9	69.8	69.8	42.5	55.8	24.7	30.9	73.7	53.0
+ SPADE	62.8	74.4	75.8	47.3	63.3	32.1	37.7	72.8	58.3

30B 上 SPADE 相对基座 +8.1，相对最强固定环境基线（Fixed-env RLVE）+5.3。同一配方在 8B 上 +5.7、4B 上 +5.2；固定环境 GRPO 在三个规模上都只停在 +1.0 ~ +1.2。

收益结构极度不均：RG-Math +18.3、RG-Cog +14.7、RG-Algo +14.1 是大头，GPQA-D +5.4、LCB-v6 +4.1 居中，AIME’25 只有 +1.3、AIME’26 +0.9。竞赛数学基本是被「保住」而非被提升。

工具调用域

骨干	BFCL v4 多轮	τ²-bench	ACEBench-Agent	三者均值
Qwen3-30B-A3B 基座	49.0	49.0	62.0	53.3
+ SPADE	54.7 (+5.7)	52.6 (+3.6)	75.9 (+13.9)	61.1 (+7.7)
Qwen3-4B 基座 → +SPADE	22.0 → 32.3 (+10.3)	31.0 → 34.8 (+3.8)	48.4 → 57.3 (+8.9)	33.8 → 41.4

对照的专用数据合成系统：AgentScaler-30B-A3B 在 τ²-bench 上 61.8，Agent-World-14B 在 BFCL v4 多轮上 53.9，EnvScaler-8B 在 ACEBench-Agent 上 72.5。SPADE-30B 在 BFCL v4 多轮与 ACEBench-Agent 上超过这些系统，在 τ²-bench 上落后 AgentScaler。

消融：拆掉任何一件都不行

变体	选中 checkpoint	八基准均值
完整 SPADE	303	58.3
去掉环境记忆	111	53.2
去掉语料锚定	111	53.5
去掉设计者训练 + 去掉记忆	271	40.5
固定设计者（GPT-5.5 离线池）	175	53.0
设计者奖励换成 EMA 学习潜力	—	55.9
两技能课程（对照六技能）	399	53.7

三个结论：

其一，不受控的自博弈是净负收益。去掉设计者训练和记忆后，八基准均值掉到 40.5，比不训练的基座低 9.7 分。

“Removing both Environment Designer training and memory makes the model worse than no training at all, with the eight-benchmark average falling to 40.5, 9.7 points below the untrained base.” —— 同上，§7.1

其二，设计者的能力不能替代设计者的自适应性。GPT-5.5 离线生成的静态池（保留语料锚定、无记忆）只恢复了约 35% 的增益，并且完全没提升代码能力（LiveCodeBench-v6 42.6 对基座 43.2）。

“The static GPT-5.5 pool, generated offline with corpus grounding but no environment memory, does better, beating the base (53.0 versus 50.2), but recovers only about 35% of SPADE’s +8.1 gain and does not improve code.” —— 同上，§7.1

其三，带提示的遗憾优于更便宜的替代信号。EMA 学习潜力达到约 70% 的增益（+5.7 到 55.9），爬升更慢，两条曲线在约 50 步后分开。论文给出的解释是：无符号的、相对每技能滑动均值的偏差需要先积累历史才有意义，而且对「已掌握」和「完全无望」给出同等高分，找前沿找得又晚又钝。

消融的可解释性边界

论文自己加了一句很诚实的限制，读消融表时必须记住：

“Each control changes more than one factor: the self-generation control removes both Environment Designer training and memory, while the GPT-5.5 control changes the generator and uses an offline, memory-free pool.” —— 同上，§7.1

40.5 这个数字不能单独归因于「没有梯度更新设计者」，记忆也在其中被一并去掉。

定性发现：环境真的在变难，而不只是变多

生成指令在全部 400 步里是固定的（同一份模板：隐藏状态、多轮结构、部分奖励），每步重采样的语料文档也无趋势，所以环境的系统性变化只能来自设计者的训练。三个度量同步移动：

• 可学习份额（推理智能体胜率落在 [0.2, 0.8] 的环境占比）一路上升，到 400 步后期约三分之一。
• 多样性：Vendi/n 在有语料时 0.68，无语料时 0.04。对照组「无设计者训练但有语料」保持 0.70，说明语料提供广度，设计者训练负责把难度磨尖。无语料那组在 290–312 步连续 41 次吐出同一个旋转迷宫任务。
• 代码级难度：物理类环境里，开场观测直接打印支配公式的比例从 25% 降到 5%（473 个环境上统计）；每个环境的奖励级数从均值 3.7 升到 5.8，其中严格部分奖励从 2.2 升到 4.0。

推理智能体的行为也在同一条主运行上发生了迁移：

“At step 0 it reasons entirely up front and cannot recover once the interface rejects its answer; by step 200 it tests short hypotheses and revises them as results return; by step 300 it gathers evidence first and derives once, when the evidence is enough.” —— 同上，§6.2

论文明确标注了这个变化的条件性：它只出现在奖励与交互结构鼓励逐步取证的环境里；在程序化环境上，同一策略后期以短指令行动（中位 8 个 token）；需要长推导时它照样长推导。

4 个人分析

亮点

把「数据工程」的操作对象从样本上移了一层。 过去两年 agent 训练数据的主流做法是优化轨迹：过滤、去重、打分、配比。SPADE 把杠杆放到了生成器上——优化的是「产生轨迹的那个 MDP」。这个位移的意义在于，样本级优化的天花板是初始任务分布的信息量，而生成器级优化可以持续注入新的信息量，只要外部语料还在供给。语料锚定在这个框架里不是「数据来源」，而是热力学的负熵源——没有它，闭环系统必然向模式坍缩退化，Vendi/n 从 0.68 掉到 0.04 就是这条定律的实测值。

「隐形缰绳」这个提法值得单独拿出来。 论文用它解释为什么自博弈需要外部语料：模型提不出超出自身知识的问题。这个约束对任何自举式数据管线都成立，包括自蒸馏、自我指令生成、模型打分排序。凡是闭环，都要设计开口。SPADE 给出的开口形态很具体：每轮重采样、不复用、无趋势。

遗憾信号是一个可迁移的通用构件。 它不依赖领域、不依赖外部判别器、不需要额外模型，只需要一次带提示的重放。任何「生成—求解」结构的管线都能插：代码题生成、SQL 合成、工具调用轨迹合成、多跳检索问答构造。判别「已掌握 / 前沿 / 不可解」的三分区逻辑，比常见的通过率阈值过滤信息量大得多——通过率只给一个标量，遗憾给的是「这个样本处在学习曲线的哪一段」。

消融的诚实度高于平均水平。 主动声明每个对照动的不止一个因素、主动报告 GPT-5.5 对照在代码上的负迁移、主动标注遗憾信号在小骨干上会穿透到零以下——这三处都是可以藏起来而不易被发现的地方。附录 E 还给了一个纯纳什均衡下的理想化结论（每个均衡在每个合法环境上都给出无提示最优），虽然离实用很远，但至少把「为什么这个奖励合理」的论证往前推了一步。

局限性

收益的分布高度依赖目标与生成环境的结构相似度，这一点被论文写在了工具调用域的结论里，但没在主结果的位置上强调。 ACEBench-Agent +13.9、BFCL v4 多轮 +5.7、τ²-bench +3.6，排序恰好对应「目标任务与生成环境交互结构的贴合程度」：ACEBench-Agent 的多步任务就是数据库加工具模式加多调用目标，几乎复刻了生成模板。反过来看 AIME：+1.3 和 +0.9 意味着一个在程序化推理上拿到 +18.3 的配方，几乎碰不动竞赛数学。SPADE 是一个分布塑形工具，不是通用能力提升器——课程里没放进去的能力维度，训完也还是没有。实操上这意味着选课程体系等价于选能力版图，这个选择的权重比调超参大得多。

可学习份额只有约三分之一，是全文最刺眼的效率数字。 即使是最优配置，到训练后期也仅约三分之一的生成环境落在有效难度带内，另外三分之二的 rollout 预算花在太简单或太难的环境上。论文把它当作「SPADE 能持续供给可用环境」的证据，换个读法就是三分之二的环境生成与交互算力是浪费的。对工业管线来说，这是比 +8.1 更值得抄的数字：它给出了一个可监控、可优化的产出率指标。可惜论文没有报告这个份额在完整配置下的绝对基线（只给了曲线形状），无法直接算出改进空间。

遗憾信号的可靠性随规模塌缩，论文报了但没深挖。 Figure 13 显示只有 30B-A3B 的遗憾估计全程为正，4B 和 8B 长时间低于零。理论上下界应为非负（对提示最优响应的策略，多给信息不会降低期望回报），穿透到零以下说明小模型不会用提示——上界策略失效，信号退化为噪声。有意思的是两个小骨干照样拿到 +5.2 和 +5.7，这说明在信号不可靠时，环境分布本身在做功，设计者的奖励只负责把分布推到对的位置。这个解耦对资源受限的团队是好消息：小模型上不必为信号质量纠结。

成本结构被低估了。 每个环境要做 16×k 次无提示 + 16 次带提示的重放，遗憾才有一条样本；400 轮 × 24 环境；主实验在 30B-A3B 上跑。论文给的口径是 400 rollout / 400 步，没有给 GPU 时数，而这个配方相对固定环境 GRPO 的额外开销至少是那 16 次带提示重放加上一次额外的策略更新（设计者与智能体共享权重、更新被延迟 k 轮）。想复现的团队需要自己填这个空。

设计者一手写任务、一手写验证器，奖励攻击面没有被系统封堵。 环境的验证代码由设计者自己写，论文给出的防线是语法与执行检查，加上遗憾机制对「可破解环境」的自动抑制（两臂回报都高 → 遗憾低 → 判为已掌握 → 不给奖励）。对那些能让两臂一并拿高分的漏洞，这条防线有效。对那些只有掌握特定技巧才能利用、而提示恰好不揭示该技巧的漏洞，遗憾反而会给高分——因为带提示的一臂不会用这个技巧，回报差被拉大。这类漏洞在 400 步的短程运行里未必会被发现。论文没有针对这一点的专门对照。

评测口径测不到它真正想证明的东西。 论文自己点明了：

“(c) No formal optimality, and fixed-task evaluation. Hint-based regret is motivated by PAIRED (Dennis et al., 2020) but not proven to yield an optimal curriculum, and current benchmarks measure fixed-task performance rather than open-ended reasoning growth.” —— 同上，§9 Limitations

标题里的 open-ended self-improvement，最后是用固定任务基准在 400 步内证明的。400 步是不是长到足以区分「自适应课程」与「一次性高质量课程」？GPT-5.5 对照在 175 步见顶后回落，SPADE 在 303 步仍在涨，这是目前最有力的证据，但它更像一幅趋势图而不是结论。

自指的边界还留着： SPADE 训练了环境设计者，却没训练那个训练者：

“(b) A human-designed optimizer. Both roles are updated by a fixed, human-authored RL algorithm (GRPO); SPADE does not modify its own learning rule.” —— 同上，§9 Limitations

对大模型领域的影响

环境供应链的定价逻辑会被改写。 论文开篇给出的行业数字（主要实验室环境预算超过每年十亿美元、创业公司九位数融资）建立在「环境必须由人构建」的假设上。SPADE 的对照实验说明，用更强的模型离线生成一堆环境只能拿到约 35% 的收益，真正值钱的是生成过程与学习者状态的耦合。这会推动环境供应商从「卖数据集」转向「卖共演化服务」——接入训练循环、按当前策略胜率动态调整的生成器，其价值无法用静态数据集替代。

「用前沿模型离线合成数据」这条工业惯例需要重新评估。 大量团队的标准动作是拿最强的可用模型一次性生成训练数据，然后冻结使用。GPT-5.5 对照直接命中这个做法：它有效（53.0 对 50.2），但只兑现了完整方法增益的三分之一，而且在代码上甚至是负的。换成可训练的中等规模设计者、让它跟着学习者一起更新，收益反而更高。这条结论对「要不要为数据合成训练一个专门的生成器」给出了明确答案。

难度控制从加分项变成安全项。 40.5 低于不训练的 50.2 这一条，把难度自适应从「提效手段」重新归类为「不做会出事的组件」。任何自举式数据管线——自博弈、自我指令、模型自评排序——在缺少难度控制时足以把模型训坏，而坏的方式是静默的：曲线先涨后跌，最好的 checkpoint 低于不训练。这提示管线监控需要在训练过程中持续评测留出集，而不是只看训练奖励。

可验证环境的形式从「题」回到「程序」。 生成完整 MDP 比生成问答对贵，但它换来了密度：步级奖励、状态门控、部分分。论文测到的奖励级数从 3.7 涨到 5.8（严格部分奖励 2.2 到 4.0）说明设计者学会了把奖励切细，而切细奖励正是长程信用分配的前提。工具调用域 +13.9 的相对优势，很大程度来自这一个自由度。

5 实践启示

可以借鉴的技术

带提示的遗憾作为通用样本过滤器。 不需要上整套自博弈就能用：对任何一批合成任务，跑两遍——一遍给关键提示（部分解、结构提示、参考答案要点），一遍不给——用回报差给任务排序。三分区直接映射成三个动作：高遗憾的进训练集，低遗憾且两臂都高的剔除（已掌握），低遗憾且两臂都低的剔除（不可解或有 bug）。相对通过率过滤，多出的信息是「为什么难」，而不仅仅是「难不难」。成本是 2 倍采样，可以只对采样子集做。

把外部语料当作强制依赖项写进设计，而不是可选增强。 Vendi/n 0.68 对 0.04、连续 41 个相同旋转迷宫——这两个数字说明无锚定生成不是「质量差一些」，而是会坍缩。落地要点：每轮重采样、不复用、不按趋势挑选（任何趋势都会变成混淆变量，也会让生成器学到走捷径）。

难度锚与质量信号的加权分工。 0.4 的截断遗憾 + 0.6 的平顶难度锚（胜率 [0.4, 0.6]，区间外线性衰减）——先按难度卡带，再在带内按可教性排序。这个两层结构比单一信号稳，因为难度信号廉价但有偏（通过率高的题未必有价值），遗憾信号准但贵且噪（小模型上会穿透到零）。

把「可学习份额」做成管线的一级指标。 定义清楚（胜率落在 [0.2, 0.8] 的环境占比，按 16 步窗口加权），持续监控，并把它当成优化目标。SPADE 到 400 步才约三分之一，说明这里有大量空间；任何一个能把有效产出率从三分之一提到二分之一的改进，价值不低于换更强的基座。

代码级难度度量比分数级难度度量更抗作弊。 公式揭示率从 25% 到 5%、奖励级数从 3.7 到 5.8 这类指标统计的是生成物本身的属性，不依赖模型表现，在模型变强时不会自动变好。它们能区分「题变难了」和「模型变傻了」，这是纯通过率指标做不到的。

潜在应用场景

内部工具调用智能体的训练环境自供给。 最贴合的一个场景。企业内部的 API、数据库、工单系统有明确的模式定义，可以程序化拼装成带状态的多轮环境，验证逻辑天然可写。SPADE 的工具调用配方在 ACEBench-Agent 上 +13.9，正是因为目标结构与生成结构同构。要复现这个收益，前提是生成环境的状态机长得更像生产系统——这一步的工程量主要在工具模式与状态转移的建模上，模型部分反而是现成的。

数据工程流水线自身的评测环境。 换个角度用这套框架：让环境设计者生成的不是业务任务，而是数据质量场景——缺失值分布、schema 漂移、脏数据注入、上游延迟。这类场景同样可以写成带 reset()/step() 的程序，验证器就是数据质量断言。训练出的智能体处理的正是本团队日常面对的异常分析工作。

长程 agent 的部分奖励设计。 步级奖励切分是 SPADE 在工具调用域上的主要自由度来源。对任何超过 5 步的任务，把终止奖励拆成 4–6 级严格部分奖励（论文实测均值从 2.2 到 4.0）比加数据更划算。

已有数据集的再激活。 手里有一批标注好但已被模型吃透的老数据时，不必丢弃：把它们当作语料锚定源喂给环境设计者，让生成器围绕这些文档长出新的 MDP。这正是论文从 SPICE（语料锚定生成问答）到 SPADE（语料锚定生成 MDP）的那一步位移。

模型能力版图的主动规划。 六技能课程拿到 58.3，两技能课程拿到 53.7、只兑现约一半的程序化推理增益。这条对照的含义是：课程表就是能力清单。做训练规划时，值得先把目标能力拆成可生成的技能维度，再决定投多少环境预算到每一维，而不是先定总量再随机分配。

落地前需要自己补的三件事

论文没有给 GPU 时数，复现前需要按 400 轮 × 24 环境 ×（16×k + 16）次重放自己估算。τ²-bench 上 SPADE-30B（52.6）落后 AgentScaler-30B-A3B（61.8），说明在结构不贴合的目标上它未必优于专用系统，选型前应先做目标结构与生成模板的相似度判断。40.5 那条消融提醒：自博弈管线必须配备过程中留出集评测，只看训练奖励会漏掉「先涨后崩」。

相关精读

• 精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除：续篇。用控制实验证明 OPD 的教师监督有 30%–50% 是噪声、收益实为「抑制低概率 token」，与本篇的「外部数据非必需」是同一命题在监督侧的延伸。

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它：续篇。用控制实验证明公开轨迹直接做 SFT 是 −10.3 分的负收益，主张轨迹的正确用法是逆变换成环境。

• 精读：Compile by Training——把提示词编译成本地权重：续篇。前四期问「拿什么练」，本篇问「练会的能不能固化下来不重复付费」，把大模型从运行时依赖降级为构建期依赖。

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态：续篇。用状态覆盖率与吸收速率两把尺子证明，OPD 阶段数据量砍到全量的 1/17000 也基本不掉，绑定约束在优化器那一侧。

• 精读：OPD-then-RL——两阶段为什么打过单步融合：续篇。把 OPD 与 RLVR 从同一步内加权混合改成前后两阶段执行，逻辑推理 pass@1 领先七种联合方法 11.7–26.7 分，并用「教师天花板」解释联合方法为何集体卡在教师水平。

• 精读：Co-Evolving Harnesses and Models——同一份专家轨迹，换个脚手架符号就反过来：续篇。同一批专家轨迹在进化脚手架上是 −14.9 分、在未进化脚手架上是 +6.3 分，说明监督信号的价值不是信号自身的属性，而是信号与运行环境的联合属性；它给的处方是把纠正粒度从整条轨迹压到单轮。

• 精读：NSD 负向自蒸馏——不靠近看过答案的自己，只远离粗心的自己：续篇。把自蒸馏的目标函数翻成负号——推离「被提示成粗心解题者的自己」，全程不用金标也不用外部教师；纯噪声负条件在策略梯度设定下三个尺寸全部第一，说明起作用的是扰动本身而不是扰动的内容。

• 精读：E-SFT——只留推理轨迹的首尾，中间整段删掉：续篇。按位置删掉中间约 20% 的 token 再做 SFT，零额外算力胜过五种过滤基线；解码时再删 75%，精度只掉 0.02 分。

• 精读：TrimSFT——只让「中间那一段置信度」的 token 参与 SFT：续篇。用 gold token 与最强竞争者的 logit gap 做高斯带通加权，剪掉已掌握与学不会的两端；按其附录重算，真正与精度强相关的是「参与训练的 token 有多少」（R_eff 相关 −0.83），而不是权重曲线的形状。

• DataFlex-RL：13 种 RLVR 数据策略，没有一个跑赢均匀采样：续篇。前十一期默认了「挑对数据就有收益」，这一期在 RLVR 层次上问这个收益大到量得出来吗。

• 精读：把「做不出来」的题变成训练信号：续篇。数据选点推到端点——连一条 rollout 都做不对的题，用教师的部分推理轨迹装上难度旋钮照样榨得出梯度；按其 Table 2 重算，按题量加权后 MFC 对 GRPO 的领先只剩 0.78pp，每条 headline 优势都落在一个标准误以内。

• 精读：NGU 与 RL 里的马太效应

• 一条响应里只给三个位置价值监督：SP³O

• 精读：不跑 RL，先把新奖励的结果预测出来

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 精读：ActObs——把被 mask 掉的那 45% 观察 token 重新纳入损失：续篇。这十五期都在问「一条轨迹里哪些 token 配得上监督」，本篇按 token 的来源（动作 vs 环境）作答，代价为零而收益只有 1–3 道题。

• 精读：Score Centering——把训练-推理失配里的漂移项减掉

• 精读：把公开代码库里已实现的功能翻成 RL 环境

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把中间状态的价值估计整体消掉

• 精读：把后训练配方本身当成果，再逐阶段对账

• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到前缀

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：RTI——把干预从优化期搬到采样期

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：Thinking Leakage——no-think 的 RL 增益有多少是从 think 漏过来的

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：MRTPO——把每个奖励的优势拆回到它自己读的那几个 token 上