论文精读

精读：E-SFT —— 把推理轨迹的中间段删掉再练

NAVER AI Lab 提出 E-SFT：按位置保留推理轨迹的首尾、删掉中间约 20% token 再做 SFT，零额外算力胜过五种过滤基线；本专栏按题量重算发现等权增益里两个配置转负，而解码时删掉中间 75% 精度只掉 0.02 分

论文： Revisiting Complete Reasoning Traces for Post-Training

作者： Jaehui Hwang, Sangdoo Yun, Byeongho Heo, Dongyoon Han

2026年9月13日 Endpoint SFT 推理轨迹 SFT 后训练数据工程 RLVR On-Policy Distillation cs.CL

1 论文概览

一句话总结：NAVER AI Lab 提出 E-SFT——把推理轨迹按空行切成「步」，保留首尾各 n 步、删掉中间约 20% 的 token 再做 SFT，四个模型×数据组合上等权平均涨 0.57–1.72 分；同一个中间掩码原样搬进 GRPO 与 on-policy distillation 也成立。

核心问题：后训练时，一条完整的思维链是不是必要的监督信号？如果不是，哪几段可以丢？

这个问题被长期默认掉了。s1K、OpenThoughts、Bespoke-Stratos 这一类数据集的通行做法是把教师模型吐出的整条轨迹原样喂给学生，最多在 16k/32k 处做一次粗截断。论文要问的是：截断位置是否应该由「上下文满了」决定，还是可以由「哪一段有价值」决定。

主要贡献

先导实验否定「完整即最优」。在等步数预算（都保留 200 步）下，保留首尾（Both）> 只留前缀（Prefix）> 只留后缀（Suffix）；并且 Both 的平均分高于用完整轨迹训练。
三条互不依赖的证据指向中间段冗余：注意力权重在轨迹首尾各有一个峰、删掉中间段后重新生成的答案与全轨迹答案最像、把中间段换成模型自写内容后答案困惑度反而下降。
E-SFT 本身零额外算力。它只是一次字符串删除，不需要打分器、控制器或外部 LLM，却打过了 5 种需要额外算力的过滤基线。
跨训练目标泛化。同一个 20% 中间掩码在 GRPO（Qwen3-1.7B-Base 上平均 +8.7）与 OPD（+2.2）上依然有效。
解码期裁剪同样可行。训练之外，推理时删掉中间 25%–75% 的推理内容，平均精度几乎不动。

2 方法详解

方法概述

设数据集 $\mathcal{D}=\{(x_i,y_i,r_i)\}_{i=1}^{N}$ ， $r_i$ 是教师 LRM 生成的推理轨迹，标准 SFT 最小化

$\mathcal{L}_{\text{SFT}}(\theta) = -\sum_{i=1}^{N}\log p_\theta(y_i, r_i \mid x_i).$

E-SFT 做的唯一一件事，是把 $r_i$ 换成截断版 $r_i^{E}$ ：按 \n\n 把 $r_i$ 切成若干步，保留最前 $n$ 步与最后 $n$ 步，中间整段丢弃。s1K-1.1 取 $n=100$ （平均 234 步），OpenThoughts3 取 $n=200$ （平均 461 步），两组设置都对应删掉约 20% 的 token。

被删掉的部分没有任何替代文本。学生看到的监督序列是一段断裂的上下文：开头是问题重述与规划，结尾是结论与答案，中间是一段实体性的空白。

步的切分用 \n\n 这个朴素的启发式。附录 B.2 用三个 LLM 评委（Claude-Sonnet-4.6、GPT-5.4、GLM5.2）做了验证：语义转折发生在 \n\n 处的比例是 33.5%（s1K）与 28.0%（OpenThoughts3），发生在步内部的只有 2.5% 与 1.0%。论文自己的措辞很克制——“it serves as a simple and reliable proxy rather than an exact segmentation rule”。

关键创新点

剪枝单元是「步」，不是 token。OPD 实验给了直接对照：step 级掩码平均 +2.2，token 级掩码只有 +0.7。这把「冗余」的性质定在了语义块的粒度上。
剪枝依据是位置先验，不是内容打分。这是它与 Yuan et al. 的 token 重要性打分、Hou et al. 的预算式 RL、Fan et al. 的双模型协作之间最硬的分界线。那些方法要么训一个 scorer，要么调一个 controller；E-SFT 的参数只有 $n$ 一个。
剪完之后不补。所有压缩类方法都要求删掉的内容以更短的形式保留下来；E-SFT 要求模型自己把洞填上。这个设计把监督信号的「信息量」和「约束强度」拆开了：信息量下降，约束反而变松。

与基线方法的区别

论文在 §4.3 摆了五类对照，按是否消耗额外算力分成两组：

方法	需要额外算力	做法	32B/s1K 平均
Random Step Selection	否	随机抽同样多的步	70.92（−2.59）
Similarity-based	否	与前 5 步的 Jaccard 超阈值即删	73.92（+0.41）
LLM-based（Claude）	是	分块上下文感知改写压缩	60.08（−13.43）
LLM-based（Gemini）	是	同上，换模型	49.55（−23.96）
PPL-extreme / PPL-high	是	按步困惑度筛（极端值 / 高值）	72.80 / 74.43
LS-Mixture SFT	是	LLM 压缩 + 混合式 SFT	71.90（−1.61）
E-SFT（Ours）	否	按位置删中间	75.19（+1.68）

标准 SFT 的基线是 73.51。这张表里最该记住的是两个负数：两个 LLM 改写压缩基线分别崩到 60.08 与 49.55。让外部模型去改写教师的推理，比原样保留再删掉中间要差 13–24 分。

3 实验结果

主要指标

主实验覆盖 Qwen2.5-32B-Instruct / Qwen3-8B-Base / Qwen3-4B-Base，数据用 s1K-1.1 与 OpenThoughts3-100K，评测 AIME24、GPQA-D、MATH（按 §3.2 与 Table 7 的口径为 MATH500），temperature 0.6 下每条题采样三次取平均。

配置	AIME24	GPQA-D	MATH	等权 Avg
32B & s1K：Full → Ours	64.44 → 68.89	61.95 → 62.29	94.13 → 94.40	73.51 → 75.19
8B & s1K：Full → Ours	42.22 → 44.44	57.41 → 57.41	92.10 → 91.60	63.91 → 64.48
8B & OT3：Full → Ours	50.00 → 52.22	53.87 → 56.40	93.47 → 93.87	65.78 → 67.50
4B & OT3：Full → Ours	36.67 → 40.00	48.65 → 48.99	91.60 → 91.13	58.97 → 60.04

与基线对比

在资源密集型那一组里，最强的是 PPL-high（74.43），E-SFT 只比它高 0.76 分。不过 PPL-high 仅筛数据就要在单卡 H100 上跑两个多小时，E-SFT 的代价是零。

泛化到 Llama 家族（Table C，OpenThoughts3-100K）：Llama-3.1-8B-Instruct 平均 +1.34，Llama-3.2-3B-Instruct 平均 0.00——但拆开看，3B 这一组是 GPQA-D +4.19、AIME24 −1.00、MATH −3.20。

消融实验的关键发现

答案困惑度（Table 2）：把某一段换成预训练模型自写的内容后，原始答案 token 的困惑度是——不替换 1.54，替换中间 1.52（−0.02），替换开头 1.56（+0.02），替换结尾 1.58（+0.04）。方向完全一致，效应量只有 1.3%–2.6%。
保留步数扫描（Figure B）：性能对保留比例不极端敏感，但两头都掉。删太狠（保留比例低）掉分，删太保守（保留比例高）吃不到收益。20% 被定位成一个「near-universal regime」。
步级 vs token 级（Table 8，OPD）：step 级 +2.2，token 级 +0.7。步是更自然的剪枝单位。
GRPO（Table 7）：Qwen3-1.7B-Base 平均 +8.7，Qwen3-1.7B（instruct）+1.2。论文自陈前者「mostly from MATH500」。
通用能力（Table 4）：推理域 SFT 之后，TruthfulQA-MC1 从 37.09 掉到 32.56，E-SFT 回到 33.17。
解码期裁剪（Table D）：Qwen3-8B 上删中间 25/33/50/75%，平均分 65.74 / 65.79 / 65.81 / 65.76，Full 是 65.78；Qwen2.5-32B 上是 74.21 / 74.20 / 74.20 / 74.16，Full 是 74.20。

最后这一组数字是全篇最反直觉的，下文会回到它。

4 个人分析

亮点

全篇最有力的一行不是 Ours vs Full，是 Ours vs Random。两者删掉的 token 量相同，唯一差别是删在哪：随机删得 70.92（−2.59），按位置删中间得 75.19（+1.68），差 4.27 分。这一臂把「结构」与「长度」干净地分开了。Ours vs Full 那条对比里混着长度效应——E-SFT 本来就少算 20% 的 token，而论文自己在 §2 引用的 Hassid et al. 已经说明最短的链往往更可靠。论文把有对照的强证据和没对照的弱证据并列呈现，读者需要自己分辨。
三条证据链方法上互相独立。注意力是观察性的，片段消融是因果干预（删了再生成），困惑度是把中间换成自写内容后的条件概率。三者都指向中间段可弃，这种三角验证在 EMNLP Findings 短文里算扎实。
成本结构的反差很尖锐。最好的资源密集型基线 PPL-high 需要两小时 H100；E-SFT 是字符串切片。在一篇讲「少即是多」的论文里，方法本身也做到了少。
作者把失效边界写进了附录。附录 A 明确给出：在 s1K-1.1 上，基座性能（MMLU-Pro / MMLU-redux）超过约 60–65 之后才出现增益。能自陈适用门槛的论文不多。

局限性

headline 增益几乎全落在样本量最小的 AIME24 上，按题量加权后两个配置转负。 三个基准的题量是 AIME24 30 题、GPQA-D 198 题、MATH500 500 题，合计 728 题。等权平均给 AIME24 的权重是 33.3%，按题量它只占 4.1%；MATH500 占 68.7%，等权只给 33.3%。

配置等权 Δ 按题量加权 Δ
32B & s1K +1.68 +0.46
8B & s1K +0.57 −0.25
8B & OT3 +1.72 +1.05
4B & OT3 +1.07 −0.09

四个配置里 MATH 有两项是负的（8B/s1K −0.50、4B/OT3 −0.47），GPQA-D 有一项是零（8B/s1K）。唯一四个配置全部为正的列是 AIME24。
AIME24 上的绝对差距只有 2–4 条采样。 30 题 × 3 次采样 = 90 条，32B 的 +4.45 分等于 4 条采样，8B 与 4B 的 +2.22 / +3.33 等于 2–3 条。全篇没有 seed、没有 error bar、没有显著性检验（正文与附录检索 “seed” 零命中）。解码端做了三次采样取平均，训练端是单次运行，方差来源只覆盖了一半。
附录 Table A 反过来削弱了「中间即冗余」的叙事。 论文用三个 LLM 评委标注了各区的功能构成，被删掉的中间段里：deduction 占 54%（s1K）/ 39%（OpenThoughts3），是三区中最高；backtracking + reformulation 加起来 21% / 21%。而保留下来的开头段，这两类合计是 19% / 22%——OpenThoughts3 上开头段的「试错重述」含量比被删掉的中间段还高。按论文自己的标注，被删段落中真正符合「冗余」画像的部分约占五分之一，被删掉的主体是演绎推理。

论文在 §B.3 的辩护是这样的：

the co-occurrence of frequent deduction and backtracking in the middle suggests that much of this forward reasoning consists of exploratory attempts that are later revised or discarded

这是把「演绎多」直接读成「冗余多」，中间少了一步论证：没有标注「这一步后来是否被推翻」。同段里作者也留了余地（“this analysis does not determine whether a given step is actually redundant”），但正文 §4.1 的叙述没带走这个余地。
Table D 把机理解释推向了论文没有面对的方向。 推理时删掉中间 75%，8B 掉 0.02 分、32B 掉 0.04 分；删 50% 时 8B 的 65.81 甚至略高于 Full 的 65.78。若中间推理对生成答案几乎没有贡献，那么 E-SFT 的训练增益就更接近「缩短监督序列」带来的正则效应，而不是论文主推的「模型学会用内部知识补全中间步骤」。这两者对实践的含义完全不同：前者意味着收益主要来自序列变短，后者意味着收益来自能力。论文没有设计能把二者分开的实验。
LLM-as-judge 缺了最关键的那一组对比。 §5 的评测是拿 E-SFT 生成轨迹与原始 s1K-1.1 比、拿标准 SFT 生成轨迹与原始 s1K-1.1 比，各自报胜率：

Trajectories generated by E-SFT are preferred in 22% of cases (8% for the original data), with 70% judged as equivalent; standard SFT is preferred in 19% of cases (9%), with 72% considered equivalent.

22% 与 19% 是两条独立对比里的胜率，差 3 个百分点，且 70% / 72% 的样本被判为等价。E-SFT 与标准 SFT 的直接两两对比这一组，论文没做。
通用能力的「回补」幅度有限。 用 Table 4 反推，E-SFT 相对标准 SFT 补回了推理域 SFT 造成的通用能力损伤的比例：TruthfulQA-MC1 13.5%、MC2 −0.8%、MMLU 56.1%、HellaSwag 8.6%、WinoGrande 23.3%，五个基准平均补回 20.1%。CodeElo 上 E-SFT 11.59 还低于标准 SFT 的 11.97。正文写的是 “the model trained with E-SFT generally outperforms the model trained with standard SFT”，七个基准里五项为正、两项为负，且正项全部在 0.6 分以内。
Llama-3.2-3B 的两个负项与正文表述冲突。 §C.5 写 E-SFT “remains effective across different model families without introducing performance degradation”，而 Table C 里 3B 这一组是 AIME24 −1.00、MATH −3.20，平均 0.00 全靠 GPQA-D 的 +4.19 顶住。
GRPO 那一臂有两个解释上的缺口。 一是 +8.7 里 MATH500 独占 +21.4（39.3 → 60.7），AIME24 只 +1.1、GPQA-D +3.5，而 39.3 这个基线低得反常（同配置 AIME24 7.8、GPQA-D 30.3），论文说 “mostly from MATH500” 却未解释。二是掩码掉 20% 的 token 会改变 token 均值归一化的分母——若按未掩码 token 数归一，等效于学习率放大约 25%；若按全序列长度归一，则等效缩小。论文给的超参是 lr 1e-6、100 步，缺一条「基线跑 lr × 1.25」的对照臂，无法排除增益来自优化器尺度而非位置先验。
同一配置在两个表里对不上。 Qwen2.5-32B-Instruct 在 s1K-1.1 上的 Full 行，Table 3 与 Table B 是 73.51，Table D 是 74.20，差 0.69 分——相当于 headline 增益 1.68 的 41%。这个量级的评估噪声没有被计入任何一处的结论。
论文没兑现的一笔账：训练算力。 删掉 20% 的 token 意味着前向与反向都少算 20%。附录 C.1 给了参照：32B 在 OpenThoughts3-100K 上训 1 epoch 是 20 小时 × 16 张 H100 = 320 H100 小时，按 20% 线性外推约省 64 H100 小时。全篇没有一处报告实际的训练时间或算力节省。
效率账的口径跳跃。 §D 写 GPQA Diamond 上生成约 8.1k 推理 token，33% 裁剪后约 5.4k，“theoretically lowers second-pass prefill computation by about 46%“。5.4 / 8.1 = 66.7%，即削减 33.3%，与 46% 对不上。而端到端实测只快 4.5%。理论值 46% 与实测 4.5% 之间隔着一个数量级的口径差。

配置	等权 Δ	按题量加权 Δ
32B & s1K	+1.68	+0.46
8B & s1K	+0.57	−0.25
8B & OT3	+1.72	+1.05
4B & OT3	+1.07	−0.09

对大模型领域的影响

这篇论文对「数据是资产」这条默认假设又削了一刀。本专栏连续十一期都在追问「拿什么练」：DART-SD 把标注单元从轨迹换成状态图，SPADE 把优化对象上移到环境生成器，One-Shot OPD 论证一条 query 就够了，NSD 把目标函数翻成负号。E-SFT 给出的答案更极端——保留两头，中间整段不要。

它与 NSD 恰好构成一对镜像。NSD 靠惩罚缺陷 token 让模型自己长出探索行为，E-SFT 靠删掉探索行为让模型自己补上。两条相反的路径都指向同一个结论：中间推理的边际价值，远低于它占掉的 token 份额。

如果这个结论站得住，受冲击的不只是 SFT 数据配方。所有按 token 计费、按长度筛选、按困惑度打分的推理数据管道，都建立在「每个 token 都有信息」这个前提上。E-SFT 与 Table D 一起说明，这个前提在长思维链上是错的。

5 实践启示

可以借鉴的技术

把「删中间 20%」当作默认基线先跑一遍。成本是一次字符串操作，收益在论文最优配置下是 +1.68（等权）/ +0.46（按题量加权）。它不替代精细的数据筛选，而是一个应当先测的下界。
剪枝单元用步，不用 token。OPD 实验里 step 级 +2.2 对 token 级 +0.7。切分用 \n\n 足够，不必上语义分割模型——论文本身用三个 LLM 评委验证过这个代理的可靠性。
先查适用门槛再动手。附录 A 的 60–65 分阈值值得抄进流程：基座通用能力低于这条线时，删中间拿不到收益。弱模型缺的正是「把洞补上」的能力。
解码期裁剪是一笔独立于训练的账。训练侧要不要删与推理侧要不要删是两个决策。若服务端是「先生成推理、再二次 prefill 出答案」的两段式结构，删中间 33% 是直接的成本项，论文实测端到端快 4.5%。
别用外部 LLM 改写压缩。这条是负向经验：Claude 与 Gemini 的压缩基线分别 −13.43 与 −23.96，远差于原样保留再删中间。改写破坏了措辞分布与推理结构，且压缩比不可控。

潜在应用场景

长轨迹 SFT 的上下文预算紧张时。这本来就是论文 §4.2 的立论场景：必须在 16k/32k 处截断时，把额度优先分给首尾，比从尾部一刀切更可靠（Suffix 在 32B/s1K 上是 −1.68，Random 是 −2.59）。
推理数据管道的预处理环节。作为去重、质量过滤之后的第三道工序，位置裁剪不与其他工序争抢预算。
RLVR 与蒸馏流程的掩码层。Table 7 / Table 8 说明这个掩码可以挂在 GRPO 与 OPD 上，不需改动训练框架的核心，只改 per-token 梯度是否计入。
两段式推理服务的 prefill 优化。长推理 + 短答案的结构下，删中间对答案生成几乎无损（Table D），是纯粹的成本削减。

参考文献

Hwang, J., Yun, S., Heo, B., Han, D. (2026). Revisiting Complete Reasoning Traces for Post-Training. arXiv:2609.07103 [cs.CL]. NAVER AI Lab. EMNLP 2026 Findings. 代码：github.com/naver-ai/revisiting-trace