精读：DART-SD——用状态拓扑定位断点，只修补该修补的那一段

1 论文概览

一句话总结：DART-SD 把多轮工具调用的执行过程从「一条线性轨迹」重新表述为「一张状态转移图」，只在学生策略第一次偏离可恢复区域的那个断点上施加局部监督，从而在不抹掉学生已有有效探索的前提下完成自我蒸馏。

核心问题

多轮工具调用智能体的主流训练范式共享一条默认假设：一条轨迹就是一个样本。SFT 让学生逐 token 复现教师轨迹，GRPO 把稀疏的结果奖励摊薄到所有中间工具调用上。两条路线都把执行过程当作孤立的线性序列来处理。

论文指出这条假设在子目标顺序无关的任务上会系统性失真。查「某航班的起飞时间」和「某酒店的退房时间」是两件互不相干的事，先查哪个都成立，两条路径在第 2 步汇合到同一个信息状态。所有合法路径交织起来，构成的不是一棵树，更不是一条线，而是一个组合式的菱形格。

“For tasks involving multiple order-independent sub-goals, the optimal solution space forms a vast combinatorial diamond lattice. Forcing this rich topology into monolithic trajectories causes a severe topological collapse, indiscriminately penalizing valid alternative explorations and severely degrading policy diversity.” —— Abstract, arXiv:2608.18524

把这个格压扁成单条轨迹，代价是双重的。SFT 一侧，学生只要走出与教师不同的合法顺序，整条轨迹的 token 都会被 loss 惩罚，模型学到的隐含结论是「只有教师那条路是对的」。RL 一侧，均匀摊薄的奖励无法区分致命错误与无害探索。

“standard RL approaches, such as Group Relative Policy Optimization (GRPO), frequently suffer from credit misassignment due to uniformly distributed rewards spread across all intermediate tool calls and inadvertently penalize valid steps within failed trajectories” —— Section 1, arXiv:2608.18524

论文给这个现象起了个名字：拓扑坍缩（topological collapse）。整篇文章的方法设计都围绕如何避免它展开。

主要贡献

1. ISTG（Interaction-State Transition Graph，交互状态转移图）。用「已获取的累积信息原子集合 + 无用操作多重集」定义交互状态，而不是用具体动作序列。顺序无关的两条探索路径会汇合到同一个主节点，菱形结构由状态定义本身涌现出来，无需额外对齐逻辑。
2. CTB（Critical Topological Breakpoint，关键拓扑断点）。把学生状态投影到教师成功轨迹的经验可达区域，第一个「投影得上 → 投影不上」的跃迁就是断点。定位过程完全确定性，不依赖 LLM 裁判。
3. CTB 引导的局部监督。loss 只在断点之后的 assistant 恢复步骤上计算，断点之前的有效前缀权重为零。
4. 渐进式自我蒸馏范式。迭代 5 轮，每轮用当前学生重新 rollout，断点随能力边界推移而自动后移，形成一套自步课程。
5. 五个基准、两个模型尺度的验证。Qwen3-4B 平均 39.17、Qwen3-8B 平均 45.58，均超过全部蒸馏与 RL 基线；8B 学生在 FTRL、ToolHop、τ-bench 三项上超过了它的教师。

2 方法详解

架构概述

DART-SD 的流程可以拆成六步，论文 Figure 2 给了完整示意：

1. 用教师 rollout（成功加失败）为每个任务构建 ISTG；
2. 收集学生的失败 rollout，在同一套交互状态空间里重放；
3. 把学生状态投影到经过预算过滤的成功可达区域 $\mathcal{R}_x^{+}$；
4. 第一个「可投影 → 不可投影」的跃迁定义为 CTB，其前一个状态的投影作为恢复锚点；
5. 以保留下来的学生前缀为条件、以教师特权参考为提示，生成断点后的恢复续写；
6. 只对生成的 assistant token 施加局部监督，然后进入下一轮。

关键在第 3 步和第 6 步：前者决定「哪里该修」，后者保证「修的时候别碰别处」。

关键创新点

创新点一：状态定义在信息层，不在动作层。

ISTG 的节点是二元组 $X_t = (I_t, U_t)$。$I_t$ 是到 $t$ 步为止拿到的信息原子集合，$U_t$ 是距最近一个主节点之后做过的无用操作多重集。信息原子的抽取分两阶段：

• 确定性阶段：把工具响应规范化成字段，只有当每个字段都是状态信号、空值或占位符时，才判定该响应「无信息」。只要残留一个实质值就算有信息。
• 语义阶段：联合审视一个任务的全部候选响应，配合任务问题与一条成功轨迹，给出映射 $\alpha_x(e) \subseteq \mathcal{K}_x$，约束 $|\alpha_x(e)| \leq 1$。语义等价的响应必须拿到同一个原子。

把节点定义在信息层带来两个直接后果。第一个后果是跨工具对齐：同一个事实由 A 工具以自由文本返回、由 B 工具以结构化记录返回，二者映射到同一个原子，两条获取路径落在同一个主信息状态上，而不是分叉成两个互不相干的状态。第二个后果是无用操作被隔离到辅助节点，不再污染信息主干。

论文在这里埋了一处我认为是全文最精彩的设计细节：

“mapping non-informative and unjudged responses to $\varnothing$ is what makes them contribute none … instead of receiving an identifier derived from its own text, which would manufacture a distinct information state that no evidence supports and inflate the information dimension of the graph. Because only informative responses yield atoms, residual judgement errors predominantly omit an atom rather than invent one, leaving the graph sparser but never fabricating states or reachability.” —— Section 3.1, arXiv:2608.18524

这是一处错误成本的非对称设计。语义判断（$\alpha_x$ 由模型执行）必然会出错，作者不去追求判断更准，而是重新安排了出错的方向：漏掉一个原子，后果只是图变稀疏；凭空造出一个原子，后果是虚构出一个没有证据支撑的状态，进而虚构出一条可达路径。把非信息响应一律映射到空集，等于强制让误差往「稀疏」那一侧倾斜。图构建模块宁可少连边，也不肯假连边。做数据工程的人对这种取舍不会陌生——噪声标签里，假阳性比假阴性难清理得多。

创新点二：可达性按「距离成功还有多远」度量，而不是「已经走了多远」。

成功可达区域定义为 $\mathcal{R}_x^{+} = \{ v \in V_x \mid \exists \tau \in \mathcal{T}_x^{+},\ v \in \tau,\ r_{\tau}(v) \leq B_x \}$，其中 $r_{\tau}(v)$ 是从 $v$ 沿该成功轨迹到成功终点的剩余转移数，预算 $B_x = \min(d_x^{\min} + \Delta_x, B_x^{\max})$ 由任务决定。

方向的选择值得留意。若改用从根出发的前向深度，度量的是「已投入多少」，这跟能否挽救没有必然关系——一条已经走了 8 步的轨迹照样救不回来。用从成功终点反向计的剩余距离，度量的是「还要多少步才能赢」，这才构成可挽救性判据。$\mathcal{R}_x^{+}$ 表示的是「学生掉队了但还追得回来」的区域，而不是「学生走得足够远」的区域。

创新点三：类型特定的宽松投影。

学生主节点的锚点集合是 $\mathcal{A}_t^{\mathrm{main}} = \{ v \in \mathcal{R}_{x,\mathrm{main}}^{+} \mid I(v) \subseteq I_t^s \}$。条件是包含而非相等，也不要求 $U$ 分量匹配。也就是说学生比教师锚点「知道得更多」完全没问题，只要它知道的没有超出教师经验支撑的范围。辅助节点更进一步，只比较无用操作的数量 $|U(v)| = |U_t^s|$，不要求具体调了哪些工具。

这两处宽松是刻意的。若要求信息集合严格相等，投影会退化成精确匹配，菱形结构也就失去意义了——菱形存在的价值恰恰在于允许多条路径汇合。

创新点四：CTB 与局部掩码。

$t_{\mathrm{C}} = \min \{ t : \rho_{t-1} = 1,\ \rho_t = 0 \}$

师生共享初始状态，$\rho_0 = 1$ 恒成立，断点必然存在。若学生全程可投影却仍然失败，论文把终止状态当作修正边界，取其最后一次有效投影作为锚点。

有了断点之后，增强生成器以「任务 + 断点前保留的学生前缀 + 特权参考」为条件产出恢复续写：$c_{t_{\mathrm{C}}}^{*} = \operatorname{AugGen}(x, \tau_{t_{\mathrm{C}}}^{s}, \mathcal{C}^{\mathrm{priv}})$。每个增强上下文配 2 条正参考和 1 条负参考，正参考附教师生成的分析。训练目标是一个掩码因果语言建模损失，掩码定义在 response step 粒度而非 token 粒度：$m_i = 1$ 当且仅当该 token 属于断点之后、最终答案之前的 assistant 响应步。学生前缀、user 消息、工具观测、最终答案步的权重全部为零。

最后一条常被忽略却很关键：最终答案步本身不被直接优化。作者的立场由此可以看清——答对是恢复步骤走对之后的副产品，而不是需要单独监督的目标。这个立场跟「hindsight 事后补一句正确答案」的做法拉开了距离。

创新点五：渐进式自步课程。

ISTG 在整个蒸馏过程中保持不变，每轮用当前学生重新 rollout 并重新定位断点。学生变强之后，它在可达区域内停留得更久，检测到的 CTB 自动往轨迹深处移动，监督信号随之转向更靠后的恢复行为。整套课程不需要人工划分难度阶段，难度由学生自己的失败位置给出。

与基线方法的区别

维度	SFT / BC	OPSD	HINT-SD（hindsight）	GRPO / ToolRL	DART-SD
结构假设	线性轨迹	线性轨迹	线性序列	线性轨迹	状态图（菱形格）
监督范围	全轨迹逐 token	学生自身成功轨迹	事后搭脚手架续写	全部中间步骤（奖励均匀摊薄）	断点后的恢复段
有效前缀保护	无	不适用	部分	无	显式掩码，权重为零
断点定位	无	无	启发式 / LLM 裁判	无	确定性状态投影
教师角色	直接模仿对象	不使用	事后参考	奖励信号源	特权上下文检索库
难度课程	无	无	无	隐式	随能力边界自步推进

一句话概括差异：前四者回答的是「这条轨迹对不对」，DART-SD 回答的是「走到第几步开始不对，从那儿往后的正确续写是什么」。问题的粒度从轨迹降到了轨迹段。

3 实验结果

实验设置

训练数据为 FTRL 数据集，2,215 个自动构造、带可验证反馈的工具环境，覆盖 Single / Para-Single / Multi / Para-Multi 四种任务结构。学生从 Qwen3-4B 与 Qwen3-8B 初始化，教师轨迹取自 Qwen3.6-27B 与 GLM-5.2 的混合池。

每轮迭代为每个任务采样 8 条轨迹，温度 0.7，最大生成长度 4,096 token，最多 9 轮交互；随后用断点局部化损失微调 1 个 epoch，学习率 $5 \times 10^{-7}$，批大小 32。共迭代 5 轮。评测覆盖 FTRL（域内）与 BFCL、ToolHop、τ-bench、RoTBench（域外）五个基准。

主要指标

Qwen3-8B 骨干下的完整对比：

方法	FTRL Solve-F1	BFCL Multi-Turn	ToolHop AC	τ-bench Pass^1	RoTBench PI	平均
Base	23.48	18.38	28.54	10.13	36.29	29.60
SFT	41.89	19.25	43.52	26.06	48.81	41.64
SCoRe-SFT	31.58	19.25	30.25	18.18	40.48	33.38
OPSD	26.68	20.50	41.11	21.21	43.21	34.95
FTRL-GRPO	40.22	35.25	34.57	23.03	42.74	40.33
ToolRL	35.00	20.50	44.72	25.45	51.43	39.94
MatchTIR (KM)	35.37	23.25	41.71	26.06	42.26	38.31
DART-SD	45.66	27.63	45.03	27.12	57.38	45.58

Qwen3-4B 骨干下 DART-SD 平均 39.17，同样居首，SFT 为 37.62，最强的 RL 基线 FTRL-GRPO 为 33.66。

与 SOTA 的对比

几个值得单独拎出来的数字：

• 对最强蒸馏基线：8B 上平均 +3.94（45.58 对 SFT 41.64），4B 上 +1.55（39.17 对 37.62）。
• 对最强 RL 基线：8B 上对 FTRL-GRPO +5.25，4B 上 +5.51。RL 基线的差距比 SFT 更大，说明均匀奖励的信用错配确实是主要瓶颈之一。
• 难度越高的任务收益越大：4B 上 BFCL Multi-Turn 从 SFT 的 14.57 提升到 23.88，相对增益约 64%，是全表最大的单列跃升。8B 上 RoTBench PI 从 48.81 提升到 57.38。这两列恰好都是多轮、长程相关的指标。
• 超过教师：论文称 8B 学生在 FTRL、ToolHop、τ-bench 三项上超过了由 Qwen3.6-27B 与 GLM-5.2 组成的教师池。

但有两列 DART-SD 是输的，论文正文没有强调，我认为这比赢的部分更有信息量：

• 8B 的 BFCL Multi-Turn：FTRL-GRPO 35.25，DART-SD 27.63，落后 7.62。
• 8B 的 τ-bench TS：FTRL-GRPO 77.02，DART-SD 75.83。

BFCL Multi-Turn 考的是跨轮次的状态一致性与约束遵循，这类能力更像「全局习惯」而非「局部修补」。RL 用统一的奖励信号反复强化整个策略，天然适合塑造这种一致性；DART-SD 的局部监督每次只改一小段，难以形成跨轮次的全局约束。这个结果划出了一条清晰的能力边界：局部纠正擅长修可定位的断点，不擅长培养需要全程一致的行为模式。

消融实验关键发现

组件消融（Qwen3-8B，FTRL 测试集）是逐层累加的：

配置	Solve-P	Solve-R	Solve-F1
Qwen3-8B Base	21.18	30.71	23.48
+ 自我蒸馏（SD）	36.23	44.46	38.10
+ CTB 局部监督	36.62	46.32	39.51
+ 渐进式 SFT	41.32	49.65	43.93
+ ISTG（完整方法）	42.00	54.13	45.66

三点读得出来。第一，光是换成自我蒸馏就带来 +14.62 的 Solve-F1，说明「用学生自己的失败轨迹做数据」这一步本身就值回票价。第二，CTB 局部监督在 Solve-P 上几乎没动（36.23 → 36.62），Solve-R 却涨了 1.86，掩码保护前缀的作用体现在召回而非精确率上——模型敢于尝试更多工具调用，因为失败的代价被局部化了。第三，ISTG 替换掉基于 LLM 裁判的断点检测之后，Solve-R 从 49.65 跳到 54.13，是单层增益最大的一步，图的价值主要落在「判断哪里可挽救」这件事上。

另有三组辅助实验同样有说服力。

工具调用效率（Table 2）。成功轨迹的平均工具调用数从 Iter1 的 4.23 降到 Iter5 的 3.55，Solve-F1 同期从 40.37 升到 45.66。与 golden 参考的对比更能说明问题：数据构造管线给出的标准解平均 4.02 次调用，最终模型是 3.55 次。

“the trajectories of our final model are even shorter than the golden references (3.55 vs. 4.02). This highlights that DART-SD successfully discovers optimized shortcuts rather than blindly following the provided subtask structures.” —— Section 4.2, arXiv:2608.18524

模型比标准答案更短，这一点排除了「学生在背参考轨迹」的怀疑。若真是记忆，输出长度应该向 4.02 收敛而不是下穿。降幅最大的两类是 Para-Single（3.29 → 2.22）与 Para-Multi（7.25 → 5.62），恰好是顺序无关子目标最多的两类，跟菱形拓扑的假设对上了。

能力边界推移（Table 3）。失败轨迹的平均 CTB 位置从 Iter1 的 0.348 推进到 Iter5 的 1.452，净移 +1.104；Multi 类从 0.500 到 1.953，Para-Multi 从 0.395 到 1.816。学生确实在把「第一次走错」的时刻往后推，自步课程在按设计工作。

通用能力保持（Table 5）。IFEval 34.75 → 45.29，AIME24 46.67 → 50.00，AIME25 23.33 → 30.00，MMLU 70.94 → 74.27，平均 43.92 → 49.89。工具调用微调之后通用能力不降反升，这跟「局部掩码减少了对既有分布的破坏」的预期一致，也是局部监督相对全轨迹 SFT 最实际的一项优势。

4 个人分析

亮点

把抽象层次选对了。 多轮工具调用的训练难题，此前多数工作都在优化「怎么给轨迹打分」——hindsight 重标、过程奖励、步级匹配。DART-SD 换了个层次：先问「这条轨迹的状态空间长什么样」。一旦状态被定义为累积信息集合，菱形拓扑就不是需要建模的对象，而是定义的副产品。这种「换表示而非换损失」的解法通常比堆技巧更耐久。

误差方向被显式设计过。 前面引过的 $\varnothing$ 映射是一个例子，可达性用剩余距离而非前向深度是另一个例子。两处都体现了同一种工程直觉：在必然有噪声的环节，先决定噪声往哪边偏，再决定怎么降噪。多数论文只做后半件事。

断点检测完全确定性。 不用 LLM 当裁判，意味着没有裁判偏差、没有额外推理成本、结果可复现。对一个要嵌进数据生产管线的模块来说，这三条比准确率提升几个点更重要。

掩码粒度选得准。 掩码定义在 response step 而不是 token，最终答案步被排除在监督之外。后者尤其反直觉——多数工作会把最终答案当成最该监督的地方。作者的判断是，只要恢复步骤走对了，答案自然对；直接优化答案反而会引入一条绕过工具调用的捷径。

效率与性能同向改善。 通常这类方法拿性能换长度（多探索几步以换取成功率），DART-SD 是性能涨、长度降。Table 2 里 3.55 低于 4.02 这个下穿，是全文最有分量的一处证据。

局限性

局部纠正的天花板已经显现。 BFCL Multi-Turn 落后 GRPO 7.62 分不是噪声，是结构性代价。需要跨轮次一致性的能力（遵循持久约束、维持用户偏好、长程状态跟踪）难以靠断点修补获得。论文没有讨论这一点，但实践中这意味着 DART-SD 更适合作为 RL 的前置或补充，而不是替代品。一个自然的方向是：用 DART-SD 做冷启动与断点修复，再用 GRPO 类方法塑形全局一致性。

信息原子抽取是隐藏的前置成本。 $\alpha_x$ 由模型执行，需要联合审视任务的全部候选响应。在 FTRL 这种自动构造、响应结构规整的环境里，确定性阶段的规范化规则好写；换成真实工具环境——响应半结构化、含噪声、有副作用、字段含义随版本漂移——规范化规则的维护成本会上升。论文的缓解措施（误差偏稀疏）有效，但那只是让图变保守，不是让图变正确。任务需要收集的事实越多，漏抽一个原子的相对代价越大。

训练分布偏窄。 全部训练在 FTRL 上完成，这是一个带可验证成功信号的自动构造数据集。成功信号是 $\mathcal{R}_x^{+}$ 定义的前提，也是 CTB 定位的前提。开放域任务里「成功」本身没有明确判据时，整个框架的可达区域定义会失去支点。论文在五个基准上做了域外评测，但域外评测只检验了泛化，没有检验「无明确成功信号」这种设定。

约束在教师经验支撑集内。 不可投影的状态一律被当作断点，而投影的参照系是教师的成功轨迹。学生若探索出一条教师从未走过但确实可行的路径，会被判为偏离。所以 DART-SD 减少的是坍缩，不是突破——它把学生的解空间从「教师走过的那一条」放宽到「教师经验支撑的那一族」，上界仍然由教师决定。论文里「学生超过教师」的提法成立，但超过的是教师的平均分，不是教师的能力上界。

成本没有量化。 5 轮迭代 × 每任务 8 条 rollout × 2,215 任务，这个 rollout 量级显著高于一次 SFT。论文没有给出 wall-clock 时间或 FLOPs 对比，只报告了最终分数。对工程落地来说，这个数字直接决定方法是否可用。

跨教师混合池的一致性未讨论。 教师轨迹来自 Qwen3.6-27B 与 GLM-5.2 两个模型。两个模型的工具调用风格、信息抽取粒度、失败模式都不一样，混在一起构建 ISTG，会让信息原子的边界变得模糊。论文没有说明是否做了风格归一，也没有消融单一教师的效果。

对大模型领域的影响

从轨迹工程转向状态拓扑工程。 这两年 agent 训练数据的生产基本围绕轨迹展开——采集、过滤、打分、重标。DART-SD 提示了一个不同的标注单元：状态图加上断点。同样一批 rollout，按轨迹标注只能得到 N 条样本，按状态图标注能得到一张可达性结构，后者可以反复查询、可以按能力边界动态切片，也不会因为采样到哪条路径而丢失其他路径的信息。对做预训练与后训练数据的人来说，这个思路的迁移价值不低于方法本身。

信用分配有了结构化的无学习先验。 过程奖励模型要靠训练才能给出步级信号，CTB 靠图投影就能给出。二者不是竞争关系：CTB 可以当作 PRM 的训练目标或冷启动标签，也可以直接当 dense reward 用。把确定性结构先验与学习式奖励结合，比单走任何一条路都更省样本。

自进化 agent 缺的正是断点定位。 让 agent 改写自己的 harness 或 prompt 的工作，共同难点是「改哪里」。多数方案依赖模型自述失败原因，可靠性存疑。ISTG 加 CTB 提供了一套与模型自述无关的、可复现的定位机制。这套机制不必限于工具调用，任何能定义「累积进展状态」的长程任务都能套用。

给小模型的 agent 能力一条不靠堆数据的路。 论文最有实践温度的一个结论是：8B 学生能在部分基准上超过 27B 教师。达到这一点的关键不是更多数据，而是更少但更准的监督——只在学生真正失败的那一小段上给信号。这对算力受限团队的意义大于对头部实验室。

5 实践启示

可以借鉴的技术

状态抽象：信息原子加无用操作计数。 $X_t = (I_t, U_t)$ 这个二元组本身就是一份现成的 agent 数据审计工具。用信息原子集合给一批工具调用数据做去重，能识别出「换了工具但拿了同一份信息」的冗余样本；用无用操作多重集做统计，能定位出哪一类工具在数据集里被高频无效调用。这两项指标比按轨迹相似度去重更贴近任务语义。

断点定位加局部掩码，作为通用数据增广过滤器。 把掩码机制单独拿出来用，不一定要跑完整框架：对学生 rollout 做失败定位，只对「失败且可挽救」的段做教师续写增广，其余段保留学生原样。这套过滤器可以直接挂到现有 SFT 管线前面，改造成本远低于重建流程。

用可达性做数据质量门禁。 一条人工标注的工具调用轨迹，若无法投影到成功可达区域，通常说明标注本身有问题——步骤缺失、工具响应编造、成功判据不一致。这比逐条人工复核便宜得多，也更适合做入库前的自动卡点。

局部监督作为抗遗忘手段。 Table 5 里通用能力不降反升，是局部掩码相对全轨迹 SFT 最实用的一项优势。微调专用能力又担心通用能力退化时，可以优先尝试缩小掩码范围，而不是加回放数据或调 LoRA 秩。

按能力边界而非任务难度排序课程。 自步课程的排序键是「学生第一次失败的位置」，不是人工定义的任务难度。这个键可以自动更新，也不需要领域专家预先标注难度分级，在缺少难度标签的内部场景里尤其省事。

潜在应用场景

企业内部工具调用智能体的小模型化。 把大模型编排 API 的能力迁到小模型上，是降本最直接的一条路。DART-SD 的设定（有明确工具集、有可验证成功信号、有多轮调用）与企业内部场景高度吻合：内部系统 API 的响应结构规整，成功与否通常可判定，正好满足信息原子抽取与可达区域定义的前提。

并行工具调用场景。 Table 2 显示 Para-Single 与 Para-Multi 两类的冗余降幅最大（3.29 → 2.22，7.25 → 5.62）。若业务里大量任务是「一次查多个独立数据源」，这类任务的收益会比串行任务更明显。

Agent 训练数据的覆盖度审计。 用 ISTG 检查一批训练数据覆盖了信息空间的哪些角落、哪些主节点只有一条路径经过、哪些辅助节点簇（无效探索模式）从未出现。这类结构化审计目前在数据生产管线里基本是空白。

在线失败恢复。 CTB 检测是确定性的，推理开销低，理论上可以在线跑：agent 执行过程中实时判断是否已离开可达区域，一旦离开就触发恢复策略或人工接管。论文没有做这个方向的实验，但方法的性质允许。

落地前需要确认的前提

• 成功信号可判定。这是 $\mathcal{R}_x^{+}$ 与 CTB 的共同支点，缺乏明确成功判据的开放任务不适用。
• 工具响应可规范化。信息原子的确定性阶段依赖响应能被解析成字段，自由文本占比高的工具需要额外投入。
• 教师轨迹覆盖度足够。学生被约束在教师经验支撑集内，教师覆盖不到的解法会被判为偏离。
• rollout 预算充足。5 轮迭代的采样量级需提前估算，论文未给出成本对比，落地前建议先做小规模轮次消融。

参考文献

• Xu, H., Wang, J., Yang, Y., Zhu, C., Chen, F., Wu, Z., Cai, J., & Song, Y. (2026). DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents. arXiv:2608.18524 [cs.CL]. ByteDance / University of Science and Technology of China.

相关精读

• 精读：SPADE——把环境设计本身变成可训练的组件

• 精读：OPSA——把教师从 on-policy 蒸馏里彻底移除

• 精读：Terminal-Universe——把轨迹反演回环境，而不是模仿它：续篇。用控制实验证明公开轨迹直接做 SFT 是 −10.3 分的负收益，主张轨迹的正确用法是逆变换成环境。

• 精读：Compile by Training——把提示词编译成本地权重：续篇。前四期问「拿什么练」，本篇问「练会的能不能固化下来不重复付费」，把大模型从运行时依赖降级为构建期依赖。

• 精读：One-Shot OPD —— 一条 query 够不够，取决于它走出多宽的状态：续篇。用状态覆盖率与吸收速率两把尺子证明，OPD 阶段数据量砍到全量的 1/17000 也基本不掉，绑定约束在优化器那一侧。

• 精读：OPD-then-RL——两阶段为什么打过单步融合：续篇。把 OPD 与 RLVR 从同一步内加权混合改成前后两阶段执行，逻辑推理 pass@1 领先七种联合方法 11.7–26.7 分，并用「教师天花板」解释联合方法为何集体卡在教师水平。

• 精读：Co-Evolving Harnesses and Models——同一份专家轨迹，换个脚手架符号就反过来：续篇。同一批专家轨迹在进化脚手架上是 −14.9 分、在未进化脚手架上是 +6.3 分，说明监督信号的价值不是信号自身的属性，而是信号与运行环境的联合属性；它给的处方是把纠正粒度从整条轨迹压到单轮。

• 精读：NSD 负向自蒸馏——不靠近看过答案的自己，只远离粗心的自己：续篇。把自蒸馏的目标函数翻成负号——推离「被提示成粗心解题者的自己」，全程不用金标也不用外部教师；纯噪声负条件在策略梯度设定下三个尺寸全部第一，说明起作用的是扰动本身而不是扰动的内容。

• 精读：E-SFT——只留推理轨迹的首尾，中间整段删掉：续篇。按位置删掉中间约 20% 的 token 再做 SFT，零额外算力胜过五种过滤基线；解码时再删 75%，精度只掉 0.02 分。

• 精读：TrimSFT——只让「中间那一段置信度」的 token 参与 SFT：续篇。用 gold token 与最强竞争者的 logit gap 做高斯带通加权，剪掉已掌握与学不会的两端；按其附录重算，真正与精度强相关的是「参与训练的 token 有多少」（R_eff 相关 −0.83），而不是权重曲线的形状。

• DataFlex-RL：13 种 RLVR 数据策略，没有一个跑赢均匀采样：续篇。前十一期默认了「挑对数据就有收益」，这一期在 RLVR 层次上问这个收益大到量得出来吗。

• 精读：把「做不出来」的题变成训练信号：续篇。数据选点推到端点——连一条 rollout 都做不对的题，用教师的部分推理轨迹装上难度旋钮照样榨得出梯度；按其 Table 2 重算，按题量加权后 MFC 对 GRPO 的领先只剩 0.78pp，每条 headline 优势都落在一个标准误以内。

• 精读：NGU 与 RL 里的马太效应

• 一条响应里只给三个位置价值监督：SP³O

• 精读：不跑 RL，先把新奖励的结果预测出来

• 精读：GMC-GRPO——把重要性比从逐条裁剪换成整组收缩

• 精读：ActObs——把被 mask 掉的那 45% 观察 token 重新纳入损失：续篇。这十五期都在问「一条轨迹里哪些 token 配得上监督」，本篇按 token 的来源（动作 vs 环境）作答，代价为零而收益只有 1–3 道题。

• 精读：Score Centering——把训练-推理失配里的漂移项减掉

• 精读：把公开代码库里已实现的功能翻成 RL 环境

• 精读：按梯度可估性给 token 分配蒸馏监督

• 精读：给 token 级信用一个唯一解，然后把它求和掉

• 精读：把中间状态的价值估计整体消掉

• 精读：把后训练配方本身当成果，再逐阶段对账

• 精读：把特权信息从损失搬到采样器——多轮 agent 里自蒸馏为什么会崩

• 精读：把中间那一步的信号从模型里搬进环境——用沙箱回滚跑出免费过程奖励

• 精读：把 prompt 课程从「排难度」换成「排目标」——Fisher–Rao 弧长上的高斯课程 ARCUS

• 精读：SCAPO——用「扰动下不动」给 token 记一笔负账

• 精读：把 off-policy 专家数据 MCMC 投影成 on-policy 数据

• 精读：CARM——把响应级掩码的判据从净位移换成双向漂移

• 精读：Mesh Learning——把 RLVR 的坍塌解释成策略容量的供需冲突

• 精读：跨分词器 OPD——把对齐覆盖度补满反而掉点

• 精读：SRD——把事后回顾蒸成事前先见

• 精读：ZCPO——把参考 KL 从损失支搬进组内系数

• 精读：Residual Advantage——让教师只重分信用，不改响应总分

• 精读：TAPO——把重要性比的记账区间从「当前 token」挪到前缀

• 精读：GPPO——把 PPO 的裁剪区间拆成「散度」与「估计器」两维

• 精读：RTI——把干预从优化期搬到采样期

• 精读：LVRL——把价值函数从「训出来的部件」换成「冻结的前沿 LLM」

• 精读：Thinking Leakage——no-think 的 RL 增益有多少是从 think 漏过来的

• 精读：Ares——把 RLVR 的更新秩交给梯度谱，账本落在截断之后

• 精读：GracefulRL——给退避一个中间价，代价是 74% 的题不再作答

• 精读：MRTPO——把每个奖励的优势拆回到它自己读的那几个 token 上