论文精读

精读:TrimSFT —— 只让「中间那一段置信度」的 token 参与 SFT

TrimSFT 用 gold token 与最强竞争者的 logit gap 做高斯带通加权,剪掉已掌握与学不会的两端;本专栏按题量与论文自身消融列重算,发现相对最强基线 DFT 的领先幅度小于论文的噪声地板,而机制解释与其附录数据脱钩

论文: Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning
作者: Yaning Jia, Chunhui Zhang, Wenxuan Xu, Xingjian Diao, Xiaoyuan Wang, Soroush Vosoughi
arXiv: 2609.09707
TrimSFT token 级加权 SFT 数学推理 logit gap 后训练 置信度 cs.AI

1 论文概览

一句话总结:TrimSFT 用「gold token 与最强竞争者的 logit 差值」给每个 token 的交叉熵加权,权重是一条以 margin mm 为中心、带宽 τ\tau 的高斯带,把监督信号同时从「已经会了」和「现在学不会」两端剪掉,只喂给中间那一段。

核心问题:标准 SFT 对所有目标 token 施加等权交叉熵。在数学推理轨迹里,这个等权假设有两处浪费——已经分得很开的 token 继续被 sharpen,逼近过拟合;本来就超出模型当前能力的 token 贡献巨大 loss,把优化方向带偏。论文要问的是:如果能按 token 分配监督预算,该分给谁。

主要贡献

  1. 提出 TrimSFT(Trimmed Logit-Gap SFT),一个 token 级重加权方法。权重从当前 forward 的 logits 直接算,加 stop-gradient,不需要参考模型、不需要额外前向(§3.1)。
  2. 在 6 个基座模型(Llama3.2-3B / Llama3.1-8B / DeepSeekMath-7B / Qwen2.5-Math-1.5B / Qwen2.5-Math-7B / Qwen3-4B-Base)× 5 个数学基准上验证,6 个模型全部超过标准 SFT,5 个模型取得最佳平均成绩;MATH500 上 TrimSFT 在 6 个模型全部第一,最大增益 Qwen2.5-Math-1.5B 的 40.02 → 66.95(+26.93)。
  3. 给出两个 half-trim 变体(TrimSFT-E / TrimSFT-H)做分解,把「双侧裁剪」拆成「只剪难侧」与「只剪易侧」两条臂,并配梯度质量分析(附录 E)与词类分析(附录 F)。
  4. 消融结论:带宽 τ\tau 比中心 mm 更关键;附录 C 用有效 token 比 ReffR_{\mathrm{eff}} 量化了这一点。
  5. 代码开源(github.com/karpning/TrimSFT),实验用 RTX A6000 × 2,单 epoch,20K NuminaMath-CoT 样本。

“TrimSFT trims supervision away from both extremes: tokens already mastered (large logit gap) and tokens weakly supported by the current model (small or negative logit gap), concentrating learning within an intermediate logit-gap region between them.” —— 摘要


2 方法详解

2.1 方法概述

设 ztz_t 是位置 tt 的 logits,gold token 为 yty_t。定义 logit gap

Δt=zt,yt−max⁡v≠ytzt,v\Delta_t = z_{t,y_t} - \max_{v \neq y_t} z_{t,v}

即 gold token 与最强竞争者之间的间隔。Δt>0\Delta_t > 0 说明 gold 已经是 top-1,绝对值越大分离越彻底。

TrimSFT 的权重是一条高斯带:

wt=exp⁡ ⁣(−(Δt−m)22τ2)w_t = \exp\!\left(-\frac{(\Delta_t - m)^2}{2\tau^2}\right)

LTrimSFT=−∑t=1Tsg⁡(wt) log⁡πθ(yt∣x,y<t)\mathcal{L}_{\text{TrimSFT}} = -\sum_{t=1}^{T} \operatorname{sg}(w_t)\,\log\pi_\theta(y_t \mid x, y_{<t})

sg⁡\operatorname{sg} 表示 stop-gradient。mm 决定「把学习集中在哪个 logit gap 区间」,τ\tau 决定这个区间有多宽。论文在全部主实验里统一用 (m,τ)=(1.5,0.8)(m,\tau) = (1.5, 0.8),没有按模型或基准调。

2.2 关键创新点

用 logit gap 而不是概率做打分。 这是与同族工作(DFT、Focal Loss、Rho-1)最实质的分野。论文的论证是:

“unlike the gold-token probability, which tends to saturate in high-confidence regimes, the logit gap remains discriminative even when probabilities would otherwise appear nearly indistinguishable.” —— §3.1

概率在 0.99 与 0.999 之间几乎看不出差别,logit gap 却还能差出一两个数量级。这个选择在数学推理场景下站得住——数字与符号 token 的分布头部很尖。

非单调的权重曲线。 DFT 与 Focal Loss 都是单调的:DFT 按 pt,ytp_{t,y_t} 加权(越会越学),FSFT 按 (1−pt,yt)γ(1-p_{t,y_t})^\gamma 加权(越不会越学)。TrimSFT 是带通——两端都压,中间给满。论文在 §3.3 把四种方法写成统一形式,这个对照做得干净:

方法权重 wtw_t单调性
SFT11常值
FSFT(1−pt,yt)γ(1-p_{t,y_t})^{\gamma}单调递减(偏向难 token)
DFTpt,ytp_{t,y_t}单调递增(偏向易 token)
TrimSFTexp⁡(−(Δt−m)2/2τ2)\exp(-(\Delta_t-m)^2 / 2\tau^2)非单调(带通)

零额外开销。 权重来自同一 forward 的 logits,取 top-2 后相减即可,无需参考模型(Rho-1 需要)、无需预计算掩码(CFT 需要)。工程上是十行代码的改动。

2.3 与基线方法的区别

两个 half-trim 变体把双侧裁剪拆开:

  • TrimSFT-E:只剪难侧。Δt≥m\Delta_t \ge m 时权重恒为 1,Δt<m\Delta_t < m 才走高斯衰减。
  • TrimSFT-H:只剪易侧。Δt≤m\Delta_t \le m 时权重恒为 1,Δt>m\Delta_t > m 才走高斯衰减。

这个设计的价值在于它让「双侧裁剪是否必要」变成一个可证伪的命题,而不是一句主张。


3 实验结果

3.1 主要指标

主指标是 average@8(每题采样 8 次,温度 1.0,top-p 1.0,取平均正确率)。下表是六个模型 × 五个基准的 Avg 列(完整数据见论文 Table 1):

模型BaseSFTFSFTDFTTrimSFT
Llama3.2-3B0.901.900.983.164.14
Llama3.1-8B1.184.341.297.217.84
DeepSeekMath-7B2.238.752.7115.6715.52
Qwen2.5-Math-1.5B14.6315.473.2729.3031.77
Qwen2.5-Math-7B20.4220.955.9535.0435.98
Qwen3-4B-Base17.0619.254.2728.4129.00

三个可以直接读出来的事实:

  • FSFT 全线崩盘。三个数学专用或 Qwen 系模型上,FSFT 低于不训练(Qwen2.5-Math-1.5B 只有 3.27,Base 是 14.63);三个通用模型上也只比 Base 高 0.08 到 0.48 分。
  • TrimSFT 与 DFT 很接近,差值在 −0.15 到 +2.47 之间。
  • 标准 SFT 对 Qwen 系模型几乎无效:Qwen2.5-Math-7B 上 SFT 只把 Avg 从 20.42 提到 20.95(+0.53)。

3.2 与最强基线的对比

论文的 headline 是 +26.9 分。把对照行定位清楚之后,这个数字的口径是:

“with gains of up to +26.9 points over SFT on MATH500” —— 摘要

具体是 Qwen2.5-Math-1.5B 在 MATH500 上的 40.02 → 66.95。同一个格子换几个减数:

对照差值
vs SFT+26.93
vs DFT+3.78
vs Base+35.50

相对 SFT 的增益是相对 DFT 的 7.12 倍。

把六个模型的 Avg 列摊开,DFT 已经吃掉了 TrimSFT 相对 SFT 增益的平均 85.5%:

模型TrimSFT − SFTDFT − SFTDFT 占比TrimSFT − DFT
Llama3.2-3B+2.24+1.2656.3%+0.98
Llama3.1-8B+3.50+2.8782.0%+0.63
DeepSeekMath-7B+6.77+6.92102.2%−0.15
Qwen2.5-Math-1.5B+16.30+13.8384.8%+2.47
Qwen2.5-Math-7B+15.03+14.0993.7%+0.94
Qwen3-4B-Base+9.75+9.1693.9%+0.59

DeepSeekMath-7B 上 DFT 反超。这解释了摘要里那句「five out of six」——第六个输给了 DFT,不是输给了 SFT。

3.3 消融实验关键发现

(a)τ\tau 比 mm 重要,但两者的敏感度都需要标定。 附录 B 的四张扫参表(Qwen2.5-Math-1.5B,Avg 列):

扫描维度最小值最大值极差标准差
固定 τ=1\tau=1,扫 mm(8 档)28.4332.544.111.34
固定 τ=6\tau=6,扫 mm(8 档)18.8125.126.312.52
固定 m=1m=1,扫 τ\tau(8 档)18.8131.7712.964.70
固定 m=6m=6,扫 τ\tau(8 档)24.1833.108.922.96

τ\tau 的极差(12.96)确实是 mm 的极差(4.11)的 3.15 倍,论文的排序结论成立。但固定 τ=1\tau=1 扫 mm 这一列本身摆动 4.11 分——论文称这个维度「不敏感」,实际摆幅与 §3.2 里 TrimSFT 领先 DFT 的幅度是同一量级。

(b)ReffR_{\mathrm{eff}} 与精度强负相关。 附录 C 定义了有效 token 比 Reff=(∑wt)2/(N∑wt2)R_{\mathrm{eff}} = (\sum w_t)^2 / (N \sum w_t^2),并给了 8 个配置的数据:

“A larger ReffR_{\mathrm{eff}} indicates that supervision is distributed more uniformly across tokens, with uniform SFT corresponding to Reff=1R_{\mathrm{eff}} = 1.” —— 附录 C

把这 8 个点做相关分析,ReffR_{\mathrm{eff}} 与 Avg 的 Pearson 系数是 −0.83,高权重 token 占比与 Avg 是 −0.84。也就是说,被真正拿来训练的 token 越少,成绩越好。Reff=0.212R_{\mathrm{eff}}=0.212(14.92% 的 token 权重 > 0.5)拿 30.58,Reff=1.000R_{\mathrm{eff}}=1.000(全部 token)拿 15.47。

(c)half-trim 的胜负取决于看哪个基准。 附录 D 补了正文没报的 m∈{2,4}m \in \{2,4\} 两行,凑齐 m∈{1,2,3,4,5}×m \in \{1,2,3,4,5\} \times 三个基准共 15 格:TrimSFT 胜 7 格,TrimSFT-E 胜 8 格。按基准拆开看,胜负分布很不均匀:

基准TrimSFT 胜题量
MATH5001 / 5500
AMC2 / 5约 40
AIME244 / 5约 30

在题量最大的 MATH500 上,单侧的 TrimSFT-E 赢 4 个 margin;双侧裁剪的优势几乎全部落在题量最小的 AIME24。附录里还留了一处 0.01 分的反转(m=2m=2:TrimSFT 7.09 vs TrimSFT-E 7.10)。

(d)梯度质量分析。 附录 E 按 low / middle / high 三个 gap 区间统计加权后的梯度占比:

mm方法LowMiddleHighAvg(τ=1\tau=1)
1TrimSFT22.1873.144.6830.58
3TrimSFT39.3658.072.5730.03
5TrimSFT45.0052.602.3930.63
1TrimSFT-H71.7826.711.50—

4 个人分析

4.1 亮点

零成本换来的增益,工程价值高于方法新颖度。 不需要参考模型、不需要预计算、不需要额外前向,权重 detach 之后就是一个逐 token 的系数。对一个已经跑着的 SFT pipeline,这是一个下午就能加完的改动,而且不改变推理期的任何东西。

主实验没有在测试集上挑超参。 论文全局锁死 (m,τ)=(1.5,0.8)(m,\tau)=(1.5,0.8),而附录网格里存在更好的点——(6,0.5)(6, 0.5) 拿 33.10,比主实验报的 31.77 高 1.33 分;网格中有 2 个点高于主实验。论文没有换过去。这种「宁可低估自己也不调参」的做法在当下的投稿里不多见。

把主张做成了可证伪的结构。 half-trim 两个变体 + 梯度质量 + 词类三层分解,读者可以自己判断哪一层成立。§3.3 的统一权重表也是好写法,一张表把 SFT / FSFT / DFT / TrimSFT 放在同一个坐标系里。

诚实交代了与 DFT 的接近。 §5 直接写了 DFT 的 gap 分布「appears closer to TrimSFT than to standard SFT」。这句话为后面的批判埋了伏笔,作者没有回避。

4.2 局限性

(1)标准 SFT 在这组实验里本身就是个坏基线。 把 Table 1 的 SFT 行与 Base 行对减,Qwen 系三个模型上有大量负号:

模型MATH500OlyBenchMinervaAMCAIME24Avg
Qwen2.5-Math-1.5B+8.57−4.12+1.63−1.04−0.82+0.84
Qwen2.5-Math-7B+10.58−1.54+4.03−0.41−10.00+0.53
Qwen3-4B-Base+13.10−2.06+3.34−0.90−2.49+2.19

Qwen2.5-Math-7B 上,20K NuminaMath-CoT 做一轮标准 SFT 把 AIME24 从 11.66 打到 1.66。TrimSFT 在这块拿到 8.76,比 SFT 好得多,但仍低于 Base 的 11.66。在这里,「相对 SFT +26.9」与「相对不训练 +31.08」讲的是两个不同的故事:前一个衡量的是修复效果,后一个才是方法本身的净贡献。论文通篇只报前一个。

(2)相对 DFT 的领先幅度小于论文自己的噪声地板。 六个模型上 TrimSFT − DFT 为 +0.98 / +0.63 / −0.15 / +2.47 / +0.94 / +0.59,其中 5 个小于 1.34 分——这正是论文自己「对 mm 不敏感」那一列的标准差。用 MATH500(500 题,题量明确)做一次标准误估算,取单题正确率的上界方差 p(1−p)\sqrt{p(1-p)}:

模型TrimSFT − DFT(MATH500)标准误比值
Llama3.2-3B+0.671.310.51
Llama3.1-8B+1.181.820.65
DeepSeekMath-7B+0.382.180.17
Qwen2.5-Math-1.5B+3.782.101.80
Qwen2.5-Math-7B+1.402.030.69
Qwen3-4B-Base+0.152.170.07

六个模型里只有一个达到 1.8 倍标准误,其余全在 0.7 倍以下。AIME24 上更松:按 30 题估,Qwen2.5-Math-1.5B 的标准误约 5.95 分,而论文据以断言「TrimSFT 在 AIME24 上全部 margin 最优」的 TrimSFT vs TrimSFT-E 差值只有 4.56 分。全文没有种子方差、没有置信区间、没有显著性检验。

(3)机制解释与论文自己的数据脱钩。 §4.5 给出的解释是:

“suppressing low-gap tokens appears to be the primary source of stability, whereas trimming high-gap tokens provides an additional regularization effect.” —— §4.5

附录 E 恰好能检验这句话。把 mm 从 1 拉到 5,low 区梯度占比从 22.18% 涨到 45.00%(2.03 倍),而同一批配置的 Avg 是 30.58 → 30.03 → 30.63,变动 +0.05 分,相关系数 −0.21。被论文称作「稳定性的主要来源」的那个量翻倍了,成绩纹丝不动。把 middle 区占比(73.14 → 52.60)与 high 区占比(4.68 → 2.39)一并看,三个区间的占比全都大幅变动,Avg 全部停在 30 分附近。这组数据的读法应当是「这三个区间的梯度分配对结果不敏感」,而不是「某一侧是主要来源」。

(4)双侧裁剪的必要性只在题量最小的基准上成立。 见 §3.3(c)。在 500 题的 MATH500 上,只剪难侧的 TrimSFT-E 赢 5 个 margin 里的 4 个;论文的结论主要靠 30 题量级的 AIME24 撑着。更值得说的是,half-trim 对照只报了 3 个基准,主表里有的 OlyBench 与 Minerva 被略去了,而这两个的题量与难度都居中,缺了它们就无法判断 TrimSFT-E 的优势是普遍现象,还是只出现在被挑出来的这三个基准上。

(5)τ→0\tau \to 0 的极限没有手臂。 附录 B 里 (1,0.1)(1, 0.1) 的 Avg 是 31.77,与全局主实验 (1.5,0.8)(1.5, 0.8) 的 31.77 完全相同。τ=0.1\tau=0.1 时高斯带退化成一个近乎 delta 的窄窗,能拿到梯度的 token 只剩极小一撮,结果与精心设定的 (1.5,0.8)(1.5, 0.8) 打平。这意味着「高斯带 + 带宽」这个形式不是必需的,一个 top-kk 硬选择或一个简单的阈值规则有同样的机会。论文缺这条对照臂,于是无法区分「带通形状重要」与「只要训得少就有效」。结合 §4.2(2) 的 ReffR_{\mathrm{eff}} 相关(−0.83),后一种解释的证据反而更厚。

(6)词类分析的数字与叙事方向不一致。 附录 F 把 40,082 个 response token 分成四类:

类型token 占比平均 TrimSFT 权重相对全体均值SFT 梯度份额TrimSFT 梯度份额
数字 Num.15.39%0.1320.82×5.55%10.31%
数学符号 MS22.49%0.1911.19×15.76%22.78%
推理连接词 RC0.82%0.0530.33×2.55%0.65%
其他 Other61.30%0.1580.98×76.14%66.25%

论文的叙述是 TrimSFT 给了数字与符号 token 更大的梯度份额,这在份额层面成立。但看平均权重这一列:数字 token 是 0.132,低于全体均值 0.161,也低于「其他」类的 0.158。方法并没有把权重向数字倾斜,份额上升是因为高梯度的数字 token 恰好落在带内。真正被压下去的是推理连接词(0.053,均值的三分之一),但这类 token 只占 0.82%,不足以解释那 10 个百分点的转移。

还有一个更直白的数字:TrimSFT 之下,「其他」类仍然吃掉 66.25% 的梯度质量,相对 SFT 的 76.14% 只削减了 13.0%。一个以「把监督集中到中间带」为卖点的方法,三分之二的优化信号依旧落在分类笼统的通用 token 上。

(7)适用范围与评估口径。 作者自陈:

“TrimSFT is evaluated primarily on mathematical reasoning benchmarks with supervised fine-tuning from base models, so its effectiveness on broader domains such as code generation, open-ended instruction following, or long-form reasoning remains to be further studied.” —— Limitations

补充两点作者没写的。其一,全部六个模型都是 base 而非 instruct,而 SFT 通常是 instruct 流程的一环,base 上的结论不能直接外推。其二,Llama 系两个模型的绝对水平很低(TrimSFT 的 Avg 只有 4.14 与 7.84),20K 样本 / 单 epoch / max_len 2048 是一个偏弱的配方;方法在通用基座上的实际收益,与在数学专用基座上的收益,看起来不是一回事。

4.3 对大模型领域的影响

SFT 的优化单元继续下沉。 从样本级(过滤数据)到序列级(加权序列)再到 token 级(本方法与 DFT、Rho-1、CFT 同层)。这条线上的共同点是:难度不再由外部标注定义,而是由模型自身状态定义。不需要额外的难度打分模型,不需要 LLM 裁判,权重的定义域是当前 forward 已经算出来的量。

「少学一点」比「怎么学」更关键。 本专栏上一期(E-SFT)的发现是删掉中间段有效,这一期的 ReffR_{\mathrm{eff}} 相关是 −0.83。两篇论文的机制主张完全不同,却都指向同一个操作方向——减少参与训练的 token。如果这个方向成立,接下来该做的不是设计更精巧的权重形状,而是确定最优的监督预算比例(ReffR_{\mathrm{eff}} 该取多少),以及这个比例随模型规模、数据量、数据噪声怎么变。论文没有把这个量当作超参去扫,而是扫了 mm 与 τ\tau 两个控制形状的参数。

与 E-SFT 构成一组镜像。 上一期问「轨迹的中间段要不要」,答案是删掉中间、保留首尾,判据是位置;这一期问「哪些 token 该学」,答案是保留中间带、剪掉两端,判据是 logit gap。两者对同一批 token 的处理相反。放在一起读的结论是:「哪些 token 有价值」没有位置上的普适答案,它是一个随模型当前状态变化的量。位置是静态先验,logit gap 是动态测度,后者的信息量更大,代价是它随训练过程漂移——论文没有消融「权重每步重算」与「权重冻结在初始检查点」的差异。

一个值得警惕的信号。 在这组实验里,让基线显得很差的不是 TrimSFT 有多强,而是标准 SFT 在数学专用基座上(Qwen2.5-Math-7B 的 AIME24 从 11.66 掉到 1.66)几乎把模型训坏了。任何「相对 SFT 提升 N 分」的论文,都值得先把 Base 那一列读一遍。


5 实践启示

5.1 可以借鉴的技术

逐 token 的 logit gap 打分,可以脱离 TrimSFT 单独用。 Δt=zt,yt−max⁡v≠ytzt,v\Delta_t = z_{t,y_t} - \max_{v\neq y_t} z_{t,v} 这个量算起来几乎免费(top-2 logits 相减),而且比 gold 概率更适合做数据侧的诊断。在合成 CoT 数据上跑一遍 teacher forcing,把 Δt\Delta_t 的分布画出来,能直接看出两件事:数据里有多少 token 是模型已经会的(高 gap,训练是浪费),有多少是模型当前学不了的(负 gap,标签噪声的富集区)。这个诊断在动训练配方之前就该做。

stop-gradient 的逐 token 重加权是一个通用的插槽。 任何「我有办法给 token 打分」的想法,都可以塞进 L=∑tsg⁡(wt) ℓt\mathcal{L} = \sum_t \operatorname{sg}(w_t)\,\ell_t 这个形式里,而不必改动优化器、学习率或模型结构。论文的 §3.3 已经把 SFT / FSFT / DFT / TrimSFT 都写进这个框架,自定义权重只需要替换 wtw_t。

如果只想要大部分收益,DFT 是更省事的选择。 wt=pt,ytw_t = p_{t,y_t},一行代码,无超参,拿走 TrimSFT 相对 SFT 增益的 85.5%。Gaussian 带换来的是剩下那 1 分上下,代价是两个超参和一次扫参。先上 DFT,把 SFT 基线的水位抬起来,再判断值不值得为额外的 1 分去调 τ\tau。

落地前必做的两件事:

  1. 先跟 Base 比,不只是跟 SFT 比。 本论文 Table 1 里 Qwen2.5-Math-7B 的 SFT 在 AIME24 上比 Base 低 10 分。如果基线本身在退化,「相对基线的提升」衡量的是修复量,不是方法量。
  2. 在题量最大的那个基准上判胜负。 论文的 half-trim 结论在 500 题的 MATH500 上与在 30 题量级的 AIME24 上指向相反。题量 30 时,标准误已经在 5 分量级,4 分的差值不足以支撑任何结论。

超参的取值顺序。 论文自己的结论是 τ\tau 比 mm 重要(极差 12.96 vs 4.11)。实操上:先固定 m≈1.5m \approx 1.5 不动,只扫 τ∈{0.1,0.5,1}\tau \in \{0.1, 0.5, 1\};mm 用默认值即可。若算力允许,把 τ\tau 压到 0.1 附近试一次——论文数据显示这不会损失精度((1,0.1)(1,0.1) 与主实验打平),如果成立,说明起作用的只是「极少数 token 参与训练」,那么一个 top-kk 硬掩码就够,连高斯都不用算。

5.2 潜在应用场景

数学 / 代码等有明确 gold token 的 SFT。 这是论文的验证域,也是 logit gap 语义最清晰的域——「最强竞争者」是另一个数字或另一个符号,间隔的含义无歧义。

自蒸馏与合成数据训练。 教师生成的 CoT 噪声集中在高不确定步,正是低 gap 区间。TrimSFT 的难侧裁剪对这类数据应当比对人工标注数据更有效。论文没有分数据质量做消融,这是一个空的对照位。

小模型蒸馏大模型。 学生容量不足时,大量 token 会长期停留在负 gap 区间,标准 SFT 会持续在这些 token 上产生大梯度。剪掉这一侧(TrimSFT-E 已足够)相当于给学生一个与容量匹配的课程。论文化六模型跨度只到 8B,容量极小的一端(< 1B)没有覆盖。

暂不建议的场景。 开放式指令跟随与长文本生成:这类任务没有清晰的「最强竞争者」语义,答案的多样性本身是有价值的,压低高 gap token 会削弱流畅度;把低 gap token 剪掉,又恰好剪掉了创造性措辞最密集的区间。作者在 Limitations 里把这一条列为未验证,我倾向于认为它未必成立。


参考文献

Jia, Y., Zhang, C., Xu, W., Diao, X., Wang, X., & Vosoughi, S. (2026). Which Tokens Should SFT Actually Learn? A Token-Trimming Perspective on Mathematical Reasoning. arXiv:2609.09707 [cs.AI]. Dartmouth College; Carnegie Mellon University.

相关精读

本专栏连续四十三期追问同一个命题:训练信号该怎么给。按时间顺序: