SCION：以依赖图有效性替换答案标签作为在线策略自蒸馏的脚手架准入准则

背景与动机

在线策略自蒸馏（OPSD）把同一个模型放进两种条件：学生只拿到题目并采样一条解，教师额外拿到参考解并对学生轨迹做逐 token 评分，学生再被训练去匹配教师在自己采样轨迹上的 token 分布。OASIS（arXiv:2609.37915）把这套流程拆成支架（scaffold）与上下文（context）两个角色做因子分析，发现支架正确性对下游精度的效应强于上下文正确性，于是把监督集中到答案验证通过的轨迹上，把学生自己未通过的尝试换进上下文槽。这一改动只依赖最终答案标签，在 Qwen3-8B 上把 OPSD 相对基座的增益从 0.14 点拉回 3 点以上。

留下的问题是：该法换了「要不要监督」的门，没有换「什么算一条合格的推导」。它的门是答案级验证器 $V(x,y)\in\{0,1\}$，组内再取 $y^\star=\arg\min_{y\in\mathcal{Y}^+}|y|$，即通过的轨迹里最短的一条。作者把最短写作经验选择，理由是限制不必要地长的轨迹的权重——OASIS 原文的字面表述是取 shortest verified trajectory，理由是 the shortest one limits the weight of unnecessarily long trajectories（2026-10-01 回源核对 arxiv.org/html/2609.37915v1，公式与措辞逐字命中）。

此处需要点破的一点是：这条准则在定义域内是纯长度的。$V=1$ 只保证终答对，$\arg\min|y|$ 只在已通过的集合里比长度，两者合起来并不蕴含「推导被检查过」。同期一篇诊断工作给出的三组数字让这两条规则站不住。

第一组数字说明答案正确与推导有效只在分布内重合。iGSM 上的逐层检验（arXiv:2609.38107）显示，op=15/20/23 三个深度上答案正确且推导有效的实例占 98.3%/77.0%/39.7%，答案正确却伴随无效推导的占 0.5%/7.5%/31.6%。失败类型的拆分更尖锐：op=23 上 750 条伴随正确答案的无效轨迹里有 384 条（51.2%）是纯语义失败，能解析、算术也对，只是某一步读错了依赖图规定的输入（377 条）。

第二组数字说明答案级验证器对自蒸馏真正搬运的东西没有分辨力。OASIS 的监督是逐 token 前向 KL，不是答案级目标，被搬走的是轨迹的过程结构。而把训练轨迹前 10% 句子做 token 级打乱后，模型生成的全部轨迹都无法通过检查，分布外精度反而全程不低于干净模型：op=23 上 60.1% 对 58.0%，op=22 上 69.6% 对 67.8%。「答案对」与「过程值得逐 token 模仿」之间不存在可推断的关系。

第三组数字说明最短不等于有选择。iGSM 的标准提问方式固定要求依赖图的汇点，于是「题目需要的参数」与「通向汇点的链」是同一个集合，一个只朝汇点算下去的模型看起来就像在做取舍。把问题改问到同一段文本里的另一个参数之后，加宽世界里带冗余参数的轨迹占比从 1.3% 升到 9.6%，89–97% 的冗余参数落在通向汇点的链上，而这类参数只占可选项的 18–28%。竞赛数学的提问方式正是这个汇点约定，OASIS 评测用的 AIME 与 HMMT 不例外。

核心思路

提出 SCION（Structural-Chain Integrity-gated On-policy distillatioN）：在答案门 $V$ 之外加一道结构门 $D$，把受监督支架集从 $\mathcal{Y}^+$ 收缩到 $\mathcal{Y}^{++}=\{y: V=1 \wedge D=1\}$，被 $D$ 否决的轨迹做单向改派而不是丢弃。

结构门只做两类绝对性检验，不引入任何投票：悬挂入边否决（某一步用到的数值既不是题目给出的量，也不是本轨迹前面算出的量）与可达性否决（终答案量无法沿本轨迹的边回溯到题目给定量）。两条检验只需要题目文本与轨迹本身，与答案标签在构造上正交。这一点是刻意的设计选择：把「其他 rollout 是否也这么算」当判据会退化成多数表决，而多数表决类准则会先把只是路线不同的正确解法误判成该剔除的对象，这正是 rollout 过滤方向上反复出现的失效模式。跨 rollout 一致度只作为软信号 $\omega$（支架程序与其他 rollout 程序的共享节点比例）进入分析，并配一条把节点标签跨 rollout 随机打乱的安慰剂臂，打乱后效应不减就说明收益来自重加权而非结构。

两条检验的参考实现如下，刻意不含任何跨 rollout 比较：

# structural_gate.py —— 结构门 D：两类绝对性检验，不投票、不看答案标签
def structural_gate(program, given_quantities):
    """
    program          : 由轨迹解析出的直线程序，节点 =（算子, 输入值多重集, 输出值）
    given_quantities : 由题目文本抽出的给定量（按语义槽对齐，不只比数值）
    return           : (D, violate_step)；D=1 通过，D=0 时给出第一个违反点
    """
    produced = {slots_of(q) for q in given_quantities}   # 当前可用的量
    for i, (op, inputs, out) in enumerate(program):
        for v in inputs:
            if slots_of(v) not in produced:
                return 0, i          # 悬挂入边否决：用到既非给定、也非本轨迹前序产出的量
        produced.add(slots_of(out))
    if not reachable(program[-1].out, given_quantities, program):
        return 0, len(program) - 1   # 可达性否决：终答案无法沿本轨迹的边回溯到给定量
    return 1, None

注意 slots_of 而不是数值相等：中间量复用属于合理行为，只按数值匹配会把复用误判成悬挂边，这一点与第四条技术挑战同源。

三通路分配构成方法的骨架。$\mathcal{Y}^{++}$ 非空时支架取 $\arg\min_{y\in\mathcal{Y}^{++}}|y|$，先过结构再比长度，而不是 OASIS 的纯长度。$\mathcal{Y}^{+-}=\{y: V=1\wedge D=0\}$ 全部改派到上下文槽作为教师条件：OASIS 已实测在验证支架上教师对上下文不敏感，学生自身失败尝试的总变差距离 0.065，无关、空、仅模板三种上下文分别 0.056、0.051、0.056，把过程错误的轨迹放进这个槽的代价由这条实测上界兜住，它们的 token 不再进入 KL 目标。第三通路针对截断：OASIS 实测 1.7B/4B 上分别有 62.0%/64.4% 的 rollout 撞到 token 上限且既无答案也无终止符，整条被丢弃；其中前缀依赖有效的，截到第一个违反点之前、补一个 EOS、只对前缀内 token 计 loss。

技术路线

第一步是抽取器与外部标定。把每条轨迹解析成直线程序，节点记为（算子、输入值多重集、输出值），边记为输入到输出的引用；另从题目文本抽给定量与关系。抽取器先在 iGSM 上标定，那里依赖图是真值，可直接报边级 F1 与「读错输入」类错误的召回。这一步是前置门禁：边级 F1 低于 0.85 或该类召回低于 0.8 时判据不可用，方案终止。

第二步做两门的正交性自检。在同一批 rollout 上统计 $V$ 与 $D$ 的通过率并报告四格联合分布；若 $D=1$ 几乎总蕴含 $V=1$，结构门就没有独立信息。

第三步是分配与训练。损失函数、教师（冻结初始策略）、提示、裁剪常数、温度、优化器与 OASIS 逐项对齐，只改变受监督轨迹的分布与 loss mask，支架始终保持在线策略，保证与 OASIS 的 Table 7、Table 8 可比。

第四步是实验与成本账。Qwen3-1.7B/4B/8B 配 AIME 2024、AIME 2025、HMMT 2025，指标取 Avg@12、Pass@12、Maj@12。六臂：GRPO、OPSD、OASIS（K=8）、SCION 门控、SCION 门控加截断回收、打乱节点标签的安慰剂臂。生成 token 预算对齐 OASIS 已报的 K=8 口径（1.7B 上 100 步 43.5M token），并单报抽取器的 CPU 侧墙钟增幅。

四条技术挑战需要预先说明。竞赛数学的自由文本没有 iGSM 那种结构化标注，抽取器错误会直接转成错误的否决，这就是用 iGSM 做外部标定而不是自评的原因。数值相等不等于同一个量，中间量复用与幻觉输入要按语义槽对齐，只匹配数值会把合理复用判成悬挂边。截断点判定与 OASIS「截断轨迹不提供完成监督」的约定冲突，靠显式 EOS 加 mask 隔离。该方法自己观察到特权模仿间隙随规模缩小（这正是它换门的动机），结构门的收益在大模型上是否保持尚无证据，8B 档必须明确要求非劣并如实报告负结果。

预期成果

定性目标是首次报告 OPSD 类方法受监督支架中过程无效轨迹的占比，把「答案正确」这一个准入准则拆成「答案正确」与「依赖可达」两个可分别测量的量。

定量目标全部写成可证伪的预测。P1 污染率：AIME 2025 与 HMMT 2025 上 $\mathcal{Y}^+$ 中 $D=0$ 的占比落在 10%–35%，低于 5% 则动机不成立、方案终止。P2 可分离性：在 $|\mathcal{Y}^+|\ge2$ 且 $\mathcal{Y}^{++}\ne\emptyset$ 的子集上，$\arg\min|y|$ 与结构门选中不同轨迹的比例高于 40%，低于 10% 说明最短轨迹已经足够。P3 主结果：相对 OASIS 的 Avg@12 提升 1.0–2.0 点，8B 档（OASIS 在此相对 OPSD 为 +3.05）要求非劣。P4 改派代价：$\mathcal{Y}^{+-}$ 进入上下文槽后教师总变差距离落在 0.051–0.065 带内，超出即说明该槽并非免疫。P5 抽取器：iGSM 上边级 F1 不低于 0.85，「读错输入」召回不低于 0.8。P6 回收空间：撞 token 上限的轨迹中能截出依赖有效前缀（不少于前 30% 步）的比例不低于 30%。

影响分两支。P1 与 P3 若一并成立，「只要答案标签就能做自蒸馏」这一便利就需要附一个结构性前提，凡用答案验证器筛数据的拒绝采样管线都得补报一次过程门。P3 在 8B 上失败而 P1 成立，结论是过程无效轨迹在规模化后不再有害，OASIS 观察到的规模瓶颈另有成因，这同样是一个可发布的负结果。

相关工作

• OASIS（arXiv:2609.37915，Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning，2026-09-29）：把 OPSD 拆成支架与上下文做因子分析，改用最终答案标签筛支架。本提案在其门上追加第二维。
• Correct Answers, Invalid Traces（arXiv:2609.38107，2026-09-29）：在 iGSM 上把答案正确与推导有效分开测量，给出 31.6% 的不重合率与「最短不等于规划」的干预证据。本提案把它的诊断判据搬成准入准则。
• Privileged Solutions or Context-Induced Teacher Behavior?（arXiv:2608.09228，2026-08-10）：最早对 OPSD 教师信号做分解，指出为另一道题写的参考解仍能提供有效监督，是本提案所用因子分析框架的上游。
• Solving math word problems with process- and outcome-based feedback（arXiv:2211.14275，2022-11-25）：过程监督的经典对照。SCION 与之的区别在于不训练第二个打分器，改用结构性、无需过程标注、可被外部基准标定的否决规则，避免把可黑客化的奖励模型再引入蒸馏回路。
• GRAFT（arXiv:2609.37868，Learning Beyond What You Sample，2026-09-29）：用异构模型的同伴轨迹填补全失败组造成的信号空缺。它与 SCION 处理的是 $\mathcal{Y}^+$ 的两种不同病——前者管空集，后者管集合里的假成员，两者可叠加。

验证边界

本文提出的六条预测构成一条串联的终止链：P5 是前置门禁（抽取器不可用则方案终止），P1 决定动机是否成立，P2 决定结构门是否带来新信息，P3/P4/P6 决定代价与收益。任何一步的终止条件被触发，都应当如实报告而不是换指标继续。

需要预先声明的三条不适用：结构门只在能被解析成直线程序的推导上定义，纯自然语言论证且无法抽取依赖关系的领域（开放式写作、非形式化证明）不在射程内；$\mathcal{Y}^{++}=\emptyset$ 的问题组本提案不处理，那里应回退到 GRAFT 一类填补策略；结构门对模型规模敏感的假设未经验证，8B 档必须要求非劣而非提升。