精读:TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT
TrimSFT 用 gold token 与最强竞争者的 logit gap 做高斯带通加权,剪掉已掌握与学不会的两端;本专栏按题量与论文自身消融列重算,发现相对最强基线 DFT 的领先幅度小于论文的噪声地板,而机制解释与其附录数据脱钩
1 论文概览
一句话总结:TrimSFT 用「gold token 与最强竞争者的 logit 差值」给每个 token 的交叉熵加权,权重是一条以 margin 为中心、带宽 的高斯带,把监督信号同时从「已经会了」和「现在学不会」两端剪掉,只喂给中间那一段。
核心问题:标准 SFT 对所有目标 token 施加等权交叉熵。在数学推理轨迹里,这个等权假设有两处浪费——已经分得很开的 token 继续被 sharpen,逼近过拟合;本来就超出模型当前能力的 token 贡献巨大 loss,把优化方向带偏。论文要问的是:如果能按 token 分配监督预算,该分给谁。
主要贡献
- 提出 TrimSFT(Trimmed Logit-Gap SFT),一个 token 级重加权方法。权重从当前 forward 的 logits 直接算,加
stop-gradient,不需要参考模型、不需要额外前向(§3.1)。 - 在 6 个基座模型(Llama3.2-3B / Llama3.1-8B / DeepSeekMath-7B / Qwen2.5-Math-1.5B / Qwen2.5-Math-7B / Qwen3-4B-Base)× 5 个数学基准上验证,6 个模型全部超过标准 SFT,5 个模型取得最佳平均成绩;MATH500 上 TrimSFT 在 6 个模型全部第一,最大增益 Qwen2.5-Math-1.5B 的 40.02 → 66.95(+26.93)。
- 给出两个 half-trim 变体(TrimSFT-E / TrimSFT-H)做分解,把「双侧裁剪」拆成「只剪难侧」与「只剪易侧」两条臂,并配梯度质量分析(附录 E)与词类分析(附录 F)。
- 消融结论:带宽 比中心 更关键;附录 C 用有效 token 比 量化了这一点。
- 代码开源(github.com/karpning/TrimSFT),实验用 RTX A6000 × 2,单 epoch,20K NuminaMath-CoT 样本。
“TrimSFT trims supervision away from both extremes: tokens already mastered (large logit gap) and tokens weakly supported by the current model (small or negative logit gap), concentrating learning within an intermediate logit-gap region between them.” —— 摘要
2 方法详解
2.1 方法概述
设 是位置 的 logits,gold token 为 。定义 logit gap
即 gold token 与最强竞争者之间的间隔。 说明 gold 已经是 top-1,绝对值越大分离越彻底。
TrimSFT 的权重是一条高斯带:
表示 stop-gradient。 决定「把学习集中在哪个 logit gap 区间」, 决定这个区间有多宽。论文在全部主实验里统一用 ,没有按模型或基准调。
2.2 关键创新点
用 logit gap 而不是概率做打分。 这是与同族工作(DFT、Focal Loss、Rho-1)最实质的分野。论文的论证是:
“unlike the gold-token probability, which tends to saturate in high-confidence regimes, the logit gap remains discriminative even when probabilities would otherwise appear nearly indistinguishable.” —— §3.1
概率在 0.99 与 0.999 之间几乎看不出差别,logit gap 却还能差出一两个数量级。这个选择在数学推理场景下站得住——数字与符号 token 的分布头部很尖。
非单调的权重曲线。 DFT 与 Focal Loss 都是单调的:DFT 按 加权(越会越学),FSFT 按 加权(越不会越学)。TrimSFT 是带通——两端都压,中间给满。论文在 §3.3 把四种方法写成统一形式,这个对照做得干净:
| 方法 | 权重 | 单调性 |
|---|---|---|
| SFT | 常值 | |
| FSFT | 单调递减(偏向难 token) | |
| DFT | 单调递增(偏向易 token) | |
| TrimSFT | 非单调(带通) |
零额外开销。 权重来自同一 forward 的 logits,取 top-2 后相减即可,无需参考模型(Rho-1 需要)、无需预计算掩码(CFT 需要)。工程上是十行代码的改动。
2.3 与基线方法的区别
两个 half-trim 变体把双侧裁剪拆开:
- TrimSFT-E:只剪难侧。 时权重恒为 1, 才走高斯衰减。
- TrimSFT-H:只剪易侧。 时权重恒为 1, 才走高斯衰减。
这个设计的价值在于它让「双侧裁剪是否必要」变成一个可证伪的命题,而不是一句主张。
3 实验结果
3.1 主要指标
主指标是 average@8(每题采样 8 次,温度 1.0,top-p 1.0,取平均正确率)。下表是六个模型 × 五个基准的 Avg 列(完整数据见论文 Table 1):
| 模型 | Base | SFT | FSFT | DFT | TrimSFT |
|---|---|---|---|---|---|
| Llama3.2-3B | 0.90 | 1.90 | 0.98 | 3.16 | 4.14 |
| Llama3.1-8B | 1.18 | 4.34 | 1.29 | 7.21 | 7.84 |
| DeepSeekMath-7B | 2.23 | 8.75 | 2.71 | 15.67 | 15.52 |
| Qwen2.5-Math-1.5B | 14.63 | 15.47 | 3.27 | 29.30 | 31.77 |
| Qwen2.5-Math-7B | 20.42 | 20.95 | 5.95 | 35.04 | 35.98 |
| Qwen3-4B-Base | 17.06 | 19.25 | 4.27 | 28.41 | 29.00 |
三个可以直接读出来的事实:
- FSFT 全线崩盘。三个数学专用或 Qwen 系模型上,FSFT 低于不训练(Qwen2.5-Math-1.5B 只有 3.27,Base 是 14.63);三个通用模型上也只比 Base 高 0.08 到 0.48 分。
- TrimSFT 与 DFT 很接近,差值在 −0.15 到 +2.47 之间。
- 标准 SFT 对 Qwen 系模型几乎无效:Qwen2.5-Math-7B 上 SFT 只把 Avg 从 20.42 提到 20.95(+0.53)。
3.2 与最强基线的对比
论文的 headline 是 +26.9 分。把对照行定位清楚之后,这个数字的口径是:
“with gains of up to +26.9 points over SFT on MATH500” —— 摘要
具体是 Qwen2.5-Math-1.5B 在 MATH500 上的 40.02 → 66.95。同一个格子换几个减数:
| 对照 | 差值 |
|---|---|
| vs SFT | +26.93 |
| vs DFT | +3.78 |
| vs Base | +35.50 |
相对 SFT 的增益是相对 DFT 的 7.12 倍。
把六个模型的 Avg 列摊开,DFT 已经吃掉了 TrimSFT 相对 SFT 增益的平均 85.5%:
| 模型 | TrimSFT − SFT | DFT − SFT | DFT 占比 | TrimSFT − DFT |
|---|---|---|---|---|
| Llama3.2-3B | +2.24 | +1.26 | 56.3% | +0.98 |
| Llama3.1-8B | +3.50 | +2.87 | 82.0% | +0.63 |
| DeepSeekMath-7B | +6.77 | +6.92 | 102.2% | −0.15 |
| Qwen2.5-Math-1.5B | +16.30 | +13.83 | 84.8% | +2.47 |
| Qwen2.5-Math-7B | +15.03 | +14.09 | 93.7% | +0.94 |
| Qwen3-4B-Base | +9.75 | +9.16 | 93.9% | +0.59 |
DeepSeekMath-7B 上 DFT 反超。这解释了摘要里那句「five out of six」——第六个输给了 DFT,不是输给了 SFT。
3.3 消融实验关键发现
(a) 比 重要,但两者的敏感度都需要标定。 附录 B 的四张扫参表(Qwen2.5-Math-1.5B,Avg 列):
| 扫描维度 | 最小值 | 最大值 | 极差 | 标准差 |
|---|---|---|---|---|
| 固定 ,扫 (8 档) | 28.43 | 32.54 | 4.11 | 1.34 |
| 固定 ,扫 (8 档) | 18.81 | 25.12 | 6.31 | 2.52 |
| 固定 ,扫 (8 档) | 18.81 | 31.77 | 12.96 | 4.70 |
| 固定 ,扫 (8 档) | 24.18 | 33.10 | 8.92 | 2.96 |
的极差(12.96)确实是 的极差(4.11)的 3.15 倍,论文的排序结论成立。但固定 扫 这一列本身摆动 4.11 分——论文称这个维度「不敏感」,实际摆幅与 §3.2 里 TrimSFT 领先 DFT 的幅度是同一量级。
(b) 与精度强负相关。 附录 C 定义了有效 token 比 ,并给了 8 个配置的数据:
“A larger indicates that supervision is distributed more uniformly across tokens, with uniform SFT corresponding to .” —— 附录 C
把这 8 个点做相关分析, 与 Avg 的 Pearson 系数是 −0.83,高权重 token 占比与 Avg 是 −0.84。也就是说,被真正拿来训练的 token 越少,成绩越好。(14.92% 的 token 权重 > 0.5)拿 30.58,(全部 token)拿 15.47。
(c)half-trim 的胜负取决于看哪个基准。 附录 D 补了正文没报的 两行,凑齐 三个基准共 15 格:TrimSFT 胜 7 格,TrimSFT-E 胜 8 格。按基准拆开看,胜负分布很不均匀:
| 基准 | TrimSFT 胜 | 题量 |
|---|---|---|
| MATH500 | 1 / 5 | 500 |
| AMC | 2 / 5 | 约 40 |
| AIME24 | 4 / 5 | 约 30 |
在题量最大的 MATH500 上,单侧的 TrimSFT-E 赢 4 个 margin;双侧裁剪的优势几乎全部落在题量最小的 AIME24。附录里还留了一处 0.01 分的反转(:TrimSFT 7.09 vs TrimSFT-E 7.10)。
(d)梯度质量分析。 附录 E 按 low / middle / high 三个 gap 区间统计加权后的梯度占比:
| 方法 | Low | Middle | High | Avg() | |
|---|---|---|---|---|---|
| 1 | TrimSFT | 22.18 | 73.14 | 4.68 | 30.58 |
| 3 | TrimSFT | 39.36 | 58.07 | 2.57 | 30.03 |
| 5 | TrimSFT | 45.00 | 52.60 | 2.39 | 30.63 |
| 1 | TrimSFT-H | 71.78 | 26.71 | 1.50 | — |
4 个人分析
4.1 亮点
零成本换来的增益,工程价值高于方法新颖度。 不需要参考模型、不需要预计算、不需要额外前向,权重 detach 之后就是一个逐 token 的系数。对一个已经跑着的 SFT pipeline,这是一个下午就能加完的改动,而且不改变推理期的任何东西。
主实验没有在测试集上挑超参。 论文全局锁死 ,而附录网格里存在更好的点—— 拿 33.10,比主实验报的 31.77 高 1.33 分;网格中有 2 个点高于主实验。论文没有换过去。这种「宁可低估自己也不调参」的做法在当下的投稿里不多见。
把主张做成了可证伪的结构。 half-trim 两个变体 + 梯度质量 + 词类三层分解,读者可以自己判断哪一层成立。§3.3 的统一权重表也是好写法,一张表把 SFT / FSFT / DFT / TrimSFT 放在同一个坐标系里。
诚实交代了与 DFT 的接近。 §5 直接写了 DFT 的 gap 分布「appears closer to TrimSFT than to standard SFT」。这句话为后面的批判埋了伏笔,作者没有回避。
4.2 局限性
(1)标准 SFT 在这组实验里本身就是个坏基线。 把 Table 1 的 SFT 行与 Base 行对减,Qwen 系三个模型上有大量负号:
| 模型 | MATH500 | OlyBench | Minerva | AMC | AIME24 | Avg |
|---|---|---|---|---|---|---|
| Qwen2.5-Math-1.5B | +8.57 | −4.12 | +1.63 | −1.04 | −0.82 | +0.84 |
| Qwen2.5-Math-7B | +10.58 | −1.54 | +4.03 | −0.41 | −10.00 | +0.53 |
| Qwen3-4B-Base | +13.10 | −2.06 | +3.34 | −0.90 | −2.49 | +2.19 |
Qwen2.5-Math-7B 上,20K NuminaMath-CoT 做一轮标准 SFT 把 AIME24 从 11.66 打到 1.66。TrimSFT 在这块拿到 8.76,比 SFT 好得多,但仍低于 Base 的 11.66。在这里,「相对 SFT +26.9」与「相对不训练 +31.08」讲的是两个不同的故事:前一个衡量的是修复效果,后一个才是方法本身的净贡献。论文通篇只报前一个。
(2)相对 DFT 的领先幅度小于论文自己的噪声地板。 六个模型上 TrimSFT − DFT 为 +0.98 / +0.63 / −0.15 / +2.47 / +0.94 / +0.59,其中 5 个小于 1.34 分——这正是论文自己「对 不敏感」那一列的标准差。用 MATH500(500 题,题量明确)做一次标准误估算,取单题正确率的上界方差 :
| 模型 | TrimSFT − DFT(MATH500) | 标准误 | 比值 |
|---|---|---|---|
| Llama3.2-3B | +0.67 | 1.31 | 0.51 |
| Llama3.1-8B | +1.18 | 1.82 | 0.65 |
| DeepSeekMath-7B | +0.38 | 2.18 | 0.17 |
| Qwen2.5-Math-1.5B | +3.78 | 2.10 | 1.80 |
| Qwen2.5-Math-7B | +1.40 | 2.03 | 0.69 |
| Qwen3-4B-Base | +0.15 | 2.17 | 0.07 |
六个模型里只有一个达到 1.8 倍标准误,其余全在 0.7 倍以下。AIME24 上更松:按 30 题估,Qwen2.5-Math-1.5B 的标准误约 5.95 分,而论文据以断言「TrimSFT 在 AIME24 上全部 margin 最优」的 TrimSFT vs TrimSFT-E 差值只有 4.56 分。全文没有种子方差、没有置信区间、没有显著性检验。
(3)机制解释与论文自己的数据脱钩。 §4.5 给出的解释是:
“suppressing low-gap tokens appears to be the primary source of stability, whereas trimming high-gap tokens provides an additional regularization effect.” —— §4.5
附录 E 恰好能检验这句话。把 从 1 拉到 5,low 区梯度占比从 22.18% 涨到 45.00%(2.03 倍),而同一批配置的 Avg 是 30.58 → 30.03 → 30.63,变动 +0.05 分,相关系数 −0.21。被论文称作「稳定性的主要来源」的那个量翻倍了,成绩纹丝不动。把 middle 区占比(73.14 → 52.60)与 high 区占比(4.68 → 2.39)一并看,三个区间的占比全都大幅变动,Avg 全部停在 30 分附近。这组数据的读法应当是「这三个区间的梯度分配对结果不敏感」,而不是「某一侧是主要来源」。
(4)双侧裁剪的必要性只在题量最小的基准上成立。 见 §3.3(c)。在 500 题的 MATH500 上,只剪难侧的 TrimSFT-E 赢 5 个 margin 里的 4 个;论文的结论主要靠 30 题量级的 AIME24 撑着。更值得说的是,half-trim 对照只报了 3 个基准,主表里有的 OlyBench 与 Minerva 被略去了,而这两个的题量与难度都居中,缺了它们就无法判断 TrimSFT-E 的优势是普遍现象,还是只出现在被挑出来的这三个基准上。
(5) 的极限没有手臂。 附录 B 里 的 Avg 是 31.77,与全局主实验 的 31.77 完全相同。 时高斯带退化成一个近乎 delta 的窄窗,能拿到梯度的 token 只剩极小一撮,结果与精心设定的 打平。这意味着「高斯带 + 带宽」这个形式不是必需的,一个 top- 硬选择或一个简单的阈值规则有同样的机会。论文缺这条对照臂,于是无法区分「带通形状重要」与「只要训得少就有效」。结合 §4.2(2) 的 相关(−0.83),后一种解释的证据反而更厚。
(6)词类分析的数字与叙事方向不一致。 附录 F 把 40,082 个 response token 分成四类:
| 类型 | token 占比 | 平均 TrimSFT 权重 | 相对全体均值 | SFT 梯度份额 | TrimSFT 梯度份额 |
|---|---|---|---|---|---|
| 数字 Num. | 15.39% | 0.132 | 0.82× | 5.55% | 10.31% |
| 数学符号 MS | 22.49% | 0.191 | 1.19× | 15.76% | 22.78% |
| 推理连接词 RC | 0.82% | 0.053 | 0.33× | 2.55% | 0.65% |
| 其他 Other | 61.30% | 0.158 | 0.98× | 76.14% | 66.25% |
论文的叙述是 TrimSFT 给了数字与符号 token 更大的梯度份额,这在份额层面成立。但看平均权重这一列:数字 token 是 0.132,低于全体均值 0.161,也低于「其他」类的 0.158。方法并没有把权重向数字倾斜,份额上升是因为高梯度的数字 token 恰好落在带内。真正被压下去的是推理连接词(0.053,均值的三分之一),但这类 token 只占 0.82%,不足以解释那 10 个百分点的转移。
还有一个更直白的数字:TrimSFT 之下,「其他」类仍然吃掉 66.25% 的梯度质量,相对 SFT 的 76.14% 只削减了 13.0%。一个以「把监督集中到中间带」为卖点的方法,三分之二的优化信号依旧落在分类笼统的通用 token 上。
(7)适用范围与评估口径。 作者自陈:
“TrimSFT is evaluated primarily on mathematical reasoning benchmarks with supervised fine-tuning from base models, so its effectiveness on broader domains such as code generation, open-ended instruction following, or long-form reasoning remains to be further studied.” —— Limitations
补充两点作者没写的。其一,全部六个模型都是 base 而非 instruct,而 SFT 通常是 instruct 流程的一环,base 上的结论不能直接外推。其二,Llama 系两个模型的绝对水平很低(TrimSFT 的 Avg 只有 4.14 与 7.84),20K 样本 / 单 epoch / max_len 2048 是一个偏弱的配方;方法在通用基座上的实际收益,与在数学专用基座上的收益,看起来不是一回事。
4.3 对大模型领域的影响
SFT 的优化单元继续下沉。 从样本级(过滤数据)到序列级(加权序列)再到 token 级(本方法与 DFT、Rho-1、CFT 同层)。这条线上的共同点是:难度不再由外部标注定义,而是由模型自身状态定义。不需要额外的难度打分模型,不需要 LLM 裁判,权重的定义域是当前 forward 已经算出来的量。
「少学一点」比「怎么学」更关键。 本专栏上一期(E-SFT)的发现是删掉中间段有效,这一期的 相关是 −0.83。两篇论文的机制主张完全不同,却都指向同一个操作方向——减少参与训练的 token。如果这个方向成立,接下来该做的不是设计更精巧的权重形状,而是确定最优的监督预算比例( 该取多少),以及这个比例随模型规模、数据量、数据噪声怎么变。论文没有把这个量当作超参去扫,而是扫了 与 两个控制形状的参数。
与 E-SFT 构成一组镜像。 上一期问「轨迹的中间段要不要」,答案是删掉中间、保留首尾,判据是位置;这一期问「哪些 token 该学」,答案是保留中间带、剪掉两端,判据是 logit gap。两者对同一批 token 的处理相反。放在一起读的结论是:「哪些 token 有价值」没有位置上的普适答案,它是一个随模型当前状态变化的量。位置是静态先验,logit gap 是动态测度,后者的信息量更大,代价是它随训练过程漂移——论文没有消融「权重每步重算」与「权重冻结在初始检查点」的差异。
一个值得警惕的信号。 在这组实验里,让基线显得很差的不是 TrimSFT 有多强,而是标准 SFT 在数学专用基座上(Qwen2.5-Math-7B 的 AIME24 从 11.66 掉到 1.66)几乎把模型训坏了。任何「相对 SFT 提升 N 分」的论文,都值得先把 Base 那一列读一遍。
5 实践启示
5.1 可以借鉴的技术
逐 token 的 logit gap 打分,可以脱离 TrimSFT 单独用。 这个量算起来几乎免费(top-2 logits 相减),而且比 gold 概率更适合做数据侧的诊断。在合成 CoT 数据上跑一遍 teacher forcing,把 的分布画出来,能直接看出两件事:数据里有多少 token 是模型已经会的(高 gap,训练是浪费),有多少是模型当前学不了的(负 gap,标签噪声的富集区)。这个诊断在动训练配方之前就该做。
stop-gradient 的逐 token 重加权是一个通用的插槽。 任何「我有办法给 token 打分」的想法,都可以塞进 这个形式里,而不必改动优化器、学习率或模型结构。论文的 §3.3 已经把 SFT / FSFT / DFT / TrimSFT 都写进这个框架,自定义权重只需要替换 。
如果只想要大部分收益,DFT 是更省事的选择。 ,一行代码,无超参,拿走 TrimSFT 相对 SFT 增益的 85.5%。Gaussian 带换来的是剩下那 1 分上下,代价是两个超参和一次扫参。先上 DFT,把 SFT 基线的水位抬起来,再判断值不值得为额外的 1 分去调 。
落地前必做的两件事:
- 先跟 Base 比,不只是跟 SFT 比。 本论文 Table 1 里 Qwen2.5-Math-7B 的 SFT 在 AIME24 上比 Base 低 10 分。如果基线本身在退化,「相对基线的提升」衡量的是修复量,不是方法量。
- 在题量最大的那个基准上判胜负。 论文的 half-trim 结论在 500 题的 MATH500 上与在 30 题量级的 AIME24 上指向相反。题量 30 时,标准误已经在 5 分量级,4 分的差值不足以支撑任何结论。
超参的取值顺序。 论文自己的结论是 比 重要(极差 12.96 vs 4.11)。实操上:先固定 不动,只扫 ; 用默认值即可。若算力允许,把 压到 0.1 附近试一次——论文数据显示这不会损失精度( 与主实验打平),如果成立,说明起作用的只是「极少数 token 参与训练」,那么一个 top- 硬掩码就够,连高斯都不用算。
5.2 潜在应用场景
数学 / 代码等有明确 gold token 的 SFT。 这是论文的验证域,也是 logit gap 语义最清晰的域——「最强竞争者」是另一个数字或另一个符号,间隔的含义无歧义。
自蒸馏与合成数据训练。 教师生成的 CoT 噪声集中在高不确定步,正是低 gap 区间。TrimSFT 的难侧裁剪对这类数据应当比对人工标注数据更有效。论文没有分数据质量做消融,这是一个空的对照位。
小模型蒸馏大模型。 学生容量不足时,大量 token 会长期停留在负 gap 区间,标准 SFT 会持续在这些 token 上产生大梯度。剪掉这一侧(TrimSFT-E 已足够)相当于给学生一个与容量匹配的课程。论文化六模型跨度只到 8B,容量极小的一端(< 1B)没有覆盖。
暂不建议的场景。 开放式指令跟随与长文本生成:这类任务没有清晰的「最强竞争者」语义,答案的多样性本身是有价值的,压低高 gap token 会削弱流畅度;把低 gap token 剪掉,又恰好剪掉了创造性措辞最密集的区间。作者在 Limitations 里把这一条列为未验证,我倾向于认为它未必成立。
参考文献
Jia, Y., Zhang, C., Xu, W., Diao, X., Wang, X., & Vosoughi, S. (2026). Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning. arXiv:2609.09707 [cs.AI]. Dartmouth College; Carnegie Mellon University.
相关精读
本专栏连续四十三期追问同一个命题:训练信号该怎么给。按时间顺序:
- DART-SD:标注单元从轨迹换成状态图
- SPADE:优化对象从轨迹上移到生成器
- OPSA:教师要不要
- Terminal-Universe:把映射方向掉个头,从环境反推任务
- Compile by Training:练会的能不能固化下来不重复付费
- One-Shot OPD:一条 query 够不够
- OPD-then-RL:两种信号摆在一起还是前后站队
- Co-Evolving Harnesses:换个脚手架,同一份信号反过来了
- NSD 负向自蒸馏:不靠近看过答案的自己,只远离粗心的自己
- E-SFT:按位置删掉推理轨迹的中间段
- DataFlex-RL:13 种 RLVR 数据策略,没有一个跑赢均匀采样:续篇。前十一期默认了「挑对数据就有收益」,这一期在 RLVR 层次上问这个收益大到量得出来吗。
- 精读:把「做不出来」的题变成训练信号:续篇。数据选点推到端点——连一条 rollout 都做不对的题,用教师的部分推理轨迹装上难度旋钮照样榨得出梯度;按其 Table 2 重算,按题量加权后 MFC 对 GRPO 的领先只剩 0.78pp,每条 headline 优势都落在一个标准误以内。
- 精读:NGU 与 RL 里的马太效应
- 一条响应里只给三个位置价值监督:SP³O
- 精读:ActObs——把被 mask 掉的那 45% 观察 token 重新纳入损失:续篇。这十五期都在问「一条轨迹里哪些 token 配得上监督」,本篇按 token 的来源(动作 vs 环境)作答,代价为零而收益只有 1–3 道题。
- 精读:Score Centering——把训练-推理失配里的漂移项减掉
- 精读:把公开代码库里已实现的功能翻成 RL 环境
- 精读:按梯度可估性给 token 分配蒸馏监督
- 精读:给 token 级信用一个唯一解,然后把它求和掉
- 精读:把中间状态的价值估计整体消掉
- 精读:把后训练配方本身当成果,再逐阶段对账
- 精读:不跑 RL,先把新奖励的结果预测出来
- 精读:把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩
- 精读:把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励
- 精读:把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS
- 精读:SCAPO——用「扰动下不动」给 token 记一笔负账
- 精读:GMC-GRPO——把重要性比从逐条裁剪换成整组收缩
- 精读:把 off-policy 专家数据 MCMC 投影成 on-policy 数据
- 本篇问的是第十一层:上一期按位置删掉中间段,这一期按 logit gap 只保留中间带——「哪些 token 值得学」的判据从静态位置换成了动态置信度,两篇给出的答案方向相反。
- 精读:CARM——把响应级掩码的判据从净位移换成双向漂移
- 精读:Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突
- 精读:跨分词器 OPD——把对齐覆盖度补满反而掉点
- 精读:SRD——把事后回顾蒸成事前先见
- 精读:ZCPO——把参考 KL 从损失支搬进组内系数
- 精读:Residual Advantage——让教师只重分信用,不改响应总分
- 精读:TAPO——把重要性比的记账区间从「当前 token」挪到前缀
- 精读:GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维
- 精读:RTI——把干预从优化期搬到采样期
- 精读:LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」
- 精读:Thinking Leakage——no-think 的 RL 增益有多少是从 think 漏过来的
- 精读:Ares——把 RLVR 的更新秩交给梯度谱,账本落在截断之后
- 精读:GracefulRL——给退避一个中间价,代价是 74% 的题不再作答
- 精读:MRTPO——把每个奖励的优势拆回到它自己读的那几个 token 上