精读：Forks in the Road——推理模型覆盖度收缩的数据根源
揭示SFT后训练中推理模型pass@k退化的数据驱动机制——决策点处的'岔路口'使模型锁定单一推理路径，通过问题级多样性和首token操纵可恢复被抑制的覆盖率
1 论文概览
一句话总结：推理模型在SFT后训练中出现的pass@k退化不是算法的必然结果，而是训练数据中”岔路口”决策点驱动的人为现象——模型在这些点上承诺单一路径并抑制替代策略，但被锁定的覆盖率可通过问题级数据多样性和首token操纵恢复。
核心问题：为什么推理模型在提升pass@1的同时，pass@k反而退化？这一覆盖率收缩（coverage shrinkage）现象是RLVR优化动力学的固有缺陷，还是源于更深层的驱动因素？
主要贡献：
- 提出”岔路口”假设：首次将覆盖率收缩归因于训练数据中的决策点结构——模型面临多条有效但不可区分的推理路径时，被隐式压力驱使承诺单一子集，依赖虚假线索解决歧义，导致替代轨迹被系统性抑制
- 受控因果验证：设计图导航（Forward/Reverse）和推理模式选择（数据级/问题级多样性）两组受控案例，通过仅改变决策点存在与否，直接证明其因果效应
- 揭示首token决策机制：发现蒸馏推理模型的推理模式（线性/回溯）由首token隐式锁定，仅改变一个起始词可导致高达20%性能变异和5.8倍响应长度变异
- 提出两种缓解策略：问题级多样性数据设计（预防性）和Top-k首token采样（恢复性），证明底层推理能力未被消除而是被抑制
- 跨SFT/RLVR验证：证明收缩不唯一于RLVR——SFT同样出现，且Forward数据+GRPO收缩更严重，Reverse数据+GRPO保持覆盖率
2 方法详解
架构/方法概述
论文不提出新模型架构，而是构建了一套因果诊断框架，通过受控实验剥离决策点的影响：
案例1：图导航（Graph Navigation）
基于星图依赖链评估任务。每个提示指定变量间的函数依赖关系和对目标变量的查询。由于二叉分支节点，第一步是决策点——两个延续都是有效的，但只有一条通向正确目标。
- Forward（有决策点）：逐步从源到目标计算，第一步必须选择分支方向
- Reverse（无决策点）：从目标反向代入源变量，消除分支选择需求
两个设置对应完全相同的底层任务，行为差异可直接归因于决策点的存在。
案例2：推理模式选择
- 微观层面：自然语言 vs. 代码推理（使用OpenMathInstruct-1/2数据集）
- 数据级多样性：每个问题仅一种模式，全局50:50平衡
- 问题级多样性：每个问题同时以两种模式出现在数据中
- 宏观层面：线性 vs. 回溯推理（使用R1蒸馏模型）
- 通过改变首token（“Okay”/“Let”/“To”等）操纵推理模式
关键创新点
1. 从”算法归因”到”数据归因”的范式转换
此前工作多将pass@k退化归因于RLVR的优化动力学（如GRPO的裁剪偏置）。本文证明SFT同样导致收缩，且收缩程度与训练数据中决策点的普遍性直接相关：
“When the solution space contains multiple viable paths but the training data obscures the rationale for choosing — particularly at decision points or ‘forks in the road’ — the model cannot learn a generalizable selection mechanism. Instead, it is driven by implicit pressure to commit to a subset of available paths, relying on spurious, non-causal cues to resolve the ambiguity.”
2. 幸存者偏差的诊断
当前推理微调数据集存在系统性幸存者偏差：模型仅暴露于最终成功的推理路径。在多条有效路径的任务中，每个问题主要只看到一条路径，隐藏了替代策略和路径选择的理由。这种”缺失理由”问题在微观（逐步操作选择）和宏观（推理模式选择）两个层面同时体现。
3. 首 token 作为隐式推理路由器
发现蒸馏推理模型的首token选择隐式确定了模型承诺的推理模式：
- “Okay”/“Alright” → 触发回溯行为，更长响应，更多验证步骤
- “To”/“Let” → 触发线性推理，更短响应
仅改变一个起始词可导致：
- 性能变异高达20%
- 响应长度变异高达5.8倍
这意味着当前的推理模型实际上在首token处就完成了”推理模式选择”的隐式决策——一个完全没有被显式设计的决策点。
与基线方法的区别
| 维度 | 先前工作 | 本文 |
|---|---|---|
| 归因 | RLVR算法特性（裁剪偏置等） | 训练数据的决策点结构 |
| 范围 | 仅RLVR | SFT和RLVR均出现 |
| 诊断 | 观察现象 | 受控因果实验 |
| 缓解 | 调整RL超参/算法 | 数据设计 + 推理时干预 |
| 理论 | 优化动力学分析 | 数据结构 → 行为映射 |
3 实验结果
主要指标
- pass@k（k=1,2,4,8,16,32,64）：核心评估指标
- 推理模式分布：模型对NL/Code、线性/回溯的偏好
- 决策点置信度：模型在决策点处对正确/错误分支的概率
与SOTA的对比
图导航核心对比
| 设置 | pass@1 | pass@k（大k） | 现象 |
|---|---|---|---|
| Forward（有DP） | 稳步提升 | 先升后降 | 覆盖率收缩 |
| Reverse（无DP） | 快速接近完美 | 接近完美且稳定 | 无收缩 |
这是因果验证的直接证据：相同的底层任务，仅改变决策点存在与否，行为截然不同。
推理模式多样性对比
| 多样性设计 | pass@1 | pass@k（大k） | 推理模式分布 |
|---|---|---|---|
| 数据级多样性 | 单调提升 | 先升后急剧退化 | 双峰（偏向单一模式） |
| 问题级多样性 | 稳定 | 稳定，小幅下降 | 平衡校准 |
关键发现：覆盖率不仅取决于存在多少多样性，还取决于多样性如何分布。50:50的全局比例相同，但分布方式决定了收缩程度。
RLVR扩展验证
| 预训练数据 | GRPO后覆盖率 |
|---|---|
| Forward（有DP） | 收缩，比SFT更显著 |
| Reverse（无DP） | 保持覆盖率 |
证明收缩不唯一于SFT，且决策点的数据结构是跨算法的根因。
消融实验关键发现
1. 决策点置信度的未校准性
训练过程中，模型在决策点处的置信度急剧增加，但对正确和错误分支都赋予高置信度——这不是”学会了正确的选择”，而是”学会了过度自信地选择”。
2. 虚假线索依赖
对提示进行微扰（如打乱变量依赖顺序），尽管逻辑完全相同，模型行为显著改变，选择不同的推理分支。模型依赖非因果的表面格式线索解决决策点歧义。
3. 首 token 操纵的恢复效应
| 解码策略 | 早期pass@k | 后期pass@k |
|---|---|---|
| Default | 提升 | 下降 |
| Top-1前缀 | 提升 | 下降 |
| Top-8前缀 | 提升 | 显著更高 |
Top-8前缀采样有效恢复后训练模型中丧失的覆盖率。这证明替代推理策略仍然存在于模型中，只是被锁定在校准不当的决策点之后，可通过目标扰动重新激活。
4. 过度思考 vs. 思考不足
| 任务类型 | 默认行为 | 最佳策略 | 效果 |
|---|---|---|---|
| 反事实算术（7进制加法） | 线性思维 | 回溯思维 | 性能提升高达60% |
| 事实QA（希腊首都） | 长推理 | 短线性推理 | 过度思考损害性能 |
模型的”推理量”与任务需求之间存在系统性错配——同一模型在不同类型任务上同时表现出过度思考和思考不足，原因是首token的隐式路由无法感知任务复杂度。
4 个人分析
亮点
1. 因果推断的方法论标杆
本文的实验设计堪称因果推断的教科书。图导航的Forward/Reverse对照，推理模式的Data-level/Problem-level对照，都是在”仅改变决策点存在与否，其他完全固定”的严格条件下进行的。与观察性研究（如Spurious Rewards发现裁剪偏置）形成互补——前者揭示关联，本文证明因果。
2. “被抑制而非消除”的关键洞察
Top-8前缀采样恢复覆盖率这一发现具有深刻的实践意义：它意味着后训练模型的推理能力并未真正丧失，而是被”锁定”了。这改变了我们对后训练的理解——不是”模型忘记了替代策略”，而是”模型学会了在特定决策点承诺单一策略”。解除锁定比重新训练成本低得多。
3. 首 token 决策的启示
首token隐式确定推理模式的发现，与此前EDRM（熵相变）、Overthinking等论文形成精确呼应。EDRM发现推理是动态解码状态，本文进一步揭示这个动态状态的首token就是”开关”——一个极简的、工程上可操作的干预点。
4. 数据设计视角的范式价值
与Spurious Rewards（裁剪偏置放大预训练先验）、RELEX（rank-1轨迹外推）、SAERL（模型内部信号指导数据工程）共同构成”LLM训练中我们实际在做什么远比想象的更简单、更局部、更可预测”的论证链。本文补充了一个重要维度：我们给模型的数据结构决定了它能学到的推理结构。
局限性
1. 受控环境与真实世界的距离
图导航是高度人工化的任务，其”二叉分支”结构过于理想化。真实数学推理中的决策点可能更模糊、更连续、更层级化。论文在OpenMathInstruct上的实验部分弥补了这一问题，但规模和多样性仍然有限。
2. 缺乏大规模验证
核心实验在0.5B-4B模型上进行。在7B+规模或闭源前沿模型上，决策点的影响是否会因模型容量的增加而自我修正？论文未能回答这一问题。
3. 问题级多样性的成本问题
问题级多样性要求每个问题都有多种推理模式的标注，这在实践中成本显著高于数据级多样性。论文未讨论这一权衡，也未提出低成本近似方案。
4. 首 token 操纵的实用性存疑
Top-8前缀采样虽然恢复覆盖率，但可能同时降低pass@1。论文未报告pass@1的代价，也未讨论如何在pass@1和pass@k之间取得最优平衡。
对大模型领域的影响
短期：改变后训练数据工程实践——问题级多样性应成为标准设计原则，而非事后补救。
中期：推动”推理路由”成为显式设计对象。当前模型隐式在首token处做推理模式选择，未来应将此决策显式化、可训练化，与SR²AM（自我调节推理）的思路一致。
长期：重新定义”推理能力”的评估——pass@1的提升可能掩盖推理多样性的丧失，综合评估应同时追踪pass@k和推理模式分布。
5 实践启示
可以借鉴的技术
1. 问题级多样性作为数据工程原则
构建后训练数据集时，确保每个问题覆盖多种有效推理路径，而非简单在问题间分配多样性。具体操作：
- 对同一问题生成NL和Code两种解法
- 对同一问题生成线性和回溯两种推理链
- 在SFT数据中显式包含”为什么选择这条路径”的理由
2. 首token多样性采样
在推理部署中，用Top-k首token采样替代标准解码：
- 从Top-8候选前缀token均匀采样
- 继续生成完整解
- 从多个解中投票选择最终答案
这是一种零额外训练成本的覆盖率恢复方案。
3. 决策点审计
在后训练数据中系统识别决策点：
- 哪些问题有多条有效推理路径？
- 这些路径在数据中的覆盖率如何？
- 模型是否在决策点处表现出未校准的高置信度？
潜在应用场景
1. 后训练数据质检V2
将”决策点覆盖率”纳入数据质量评估维度。当前质检V2关注难度、多样性、质量三个维度，可增加第四维——决策点结构完整性：每个决策点是否有足够的替代路径覆盖？
2. RLVR训练数据设计
在构建RLVR训练数据时，避免只提供”成功路径”。Spurious Rewards已揭示RLVR主要放大预训练先验，本文进一步指出如果先验本身就存在决策点偏向，RLVR会加剧而非修正这一偏向。因此应在SFT阶段就确保问题级多样性，再进入RL阶段。
3. 推理模型部署优化
对于需要高可靠性的场景（如数学推理、代码生成），部署时应：
- 使用首token多样性采样覆盖多种推理路径
- 监控推理模式分布，检测过度偏向
- 在不同复杂度任务上校准推理模式选择（避免过度思考/思考不足）
4. 与EDRM/Overthinking的联合部署
本文的首token操纵 + EDRM的熵相变检测 + Overthinking的自适应推理路由，三者可组成完整的推理时优化栈：
- EDRM检测”需要推理”的样本
- 首token操纵确保推理路径多样性
- Overthinking的熵门控控制推理深度
本文为「论文精读」专栏第26期，与前期覆盖的Spurious Rewards、RELEX、LPO、SAERL、Illusion of Thinking、EDRM、Overthinking、Sparse Policy Selection等论文形成”LLM后训练实际机制远比表面流程简单”的跨领域论证链。