面向LLM微调的电路对齐感知训练数据工程：从记忆-推理脱节诊断到电路路由锚定的数据策展（CIRCUIT-ALIGN 框架）

背景与动机

记忆与推理的断裂：Knowing-Using Gap

arXiv:2607.08393（Dai et al., 2026）揭示了一个关键现象：LLM 在微调注入新知识时，能够快速记忆新事实（记忆准确率迅速攀升），却无法在下游推理任务中使用这些知识——作者将此形式化为 Knowing-Using Gap，其特征为准确率差距与时间滞后。

通过创新的 self-patching 干预技术，作者给出了与知识电路错位（knowledge-circuit misalignment）一致的证据：self-patching 定位到一批激活位置，把表征迁移到这些位置上能显著改善失败的泛化用例。需要强调的是，原文对该机制的表述是假说——实验结果与知识电路错位假说相一致（原文用词为 consistent with a knowledge-circuit misalignment hypothesis），即记忆化的表征确实存在于模型内部，但可能未被路由到计算有效层（computation-effective layers）。换言之，知识已存储，但推理时可能未被激活。本提案后续的电路对齐度量均建立在这一尚未被证伪的假说之上。

已有方案为何不够

1. 标准 SFT 只优化记忆信号：Compete Then Collaborate（arXiv:2607.08255, Kim 2026）实证表明，在已具备能力的代码模型上做 SFT 模仿验证解反而退化性能（MBPP-test 76.7%→72.7%，竞赛题 5.9%→2.9%），而同一数据作为 RLVR 环境则提升 +49%。这说明 SFT 训练数据注入了记忆信号但缺乏路由信号，加剧了 Knowing-Using Gap。

2. RLVR 部分缓解但不精确：RLVR 通过验证奖励隐式地激励知识路由，但它无法诊断哪些知识存在路由缺陷，也无法定向修复——模型可能在简单样本上学到路由，但在难样本上仍存在电路错位。

3. 语义坍缩是 Knowing-Using Gap 的代码特例：Semantic Collapse（arXiv:2607.01953, Richter & Papadakis 2026）表明 LLM 在欠规范提示下坍缩到单一错误解释而非多样输出（LiveCodeBench 32%），本质上是模型”知道”多种可能解释却无法路由到正确的那一个。

4. 指令泄露是路由-感知的另一种错位：Instruction Leakage（arXiv:2607.06925, Wang et al. 2026）表明世界模型可达 0.90 的关系读出准确率，但这是指令转录而非感知——知识存在但被路由到了错误通道（指令通道而非感知通道）。

核心问题

当前训练数据工程（无论是 SFT 数据策展还是 RLVR 环境构建）将结果正确性作为唯一数据质量信号，完全忽视了训练数据是否能为模型建立从知识存储到知识路由的完整电路通路。我们需要一种电路对齐感知的训练数据工程方法。

核心思路

CIRCUIT-ALIGN 框架

将训练数据的电路对齐度（即训练数据是否在记忆信号之外还提供充足的路由信号）建模为一等数据质量信号。核心主张：

训练数据的质量不应仅由结果正确性衡量，还应由其对模型内部知识电路的路由完整性贡献衡量。只优化结果正确性的训练数据会产生”幻影能力”——模型通过了测试，但知识未被真正路由。

与现有工作的关键区别

技术路线

第一阶段：电路对齐退化诊断

1.1 记忆-推理脱节量化

对微调后的模型，在每个训练 epoch 施加 self-patching 扫描：

• 定义渗透率 $P(l_{src}, l_{tgt})$：将 $l_{src}$ 层的表征移植到 $l_{tgt}$ 层后推理准确率的恢复程度
• 定义路由完整性 $R(k) = \frac{|\{(l_s, l_t) : P(l_s, l_t) > \theta\}|}{|L|^2}$：知识 $k$ 的有效路由路径占总路径的比例
• 定义电路对齐度 $A(D) = \mathbb{E}_{k \sim D}[\min(R_{mem}(k), R_{gen}(k))]$：训练数据 $D$ 产生的记忆路由完整性与推理路由完整性的调和均值

1.2 三类电路对齐退化模式

基于 self-patching 渗透动力学与 Compete Then Collaborate 的 SFT 退化证据，识别三类退化：

• 存储-路由断裂（S-R 断裂）：知识在浅层成功编码（记忆准确率高），但表征未能渗透到计算有效层（$R_{gen}(k) \ll R_{mem}(k)$）。典型于 SFT 训练数据——SFT 损失仅优化输出 token，不要求中间层的路由活跃度。
• 路由-通道寄生（R-C 寄生）：知识被路由到了错误通道——类比指令泄露现象，知识沿指令通道而非感知通道传播。在代码生成中表现为语义坍缩：模型坍缩到训练数据中最频繁的解释路径。
• 跨知识路由干扰（C-C 干扰）：多个知识的路由路径在中间层重叠交叉，导致相互抑制。当新知识与已有知识的存储位置重叠但路由目标不同时发生。

1.3 训练数据级电路对齐画像

对训练数据集中的每个样本 $d_i$：

• 运行 self-patching 扫描得到渗透动力学图
• 标注其对齐模式：SR-断裂 / RC-寄生 / CC-干扰 / 对齐正常
• 计算其路由贡献度：$C_{route}(d_i) = \Delta A(D \cup \{d_i\}) - \Delta A(D)$，即该样本对整体电路对齐度的边际贡献

第二阶段：电路路由锚定数据策展

2.1 路由感知采样

基于电路对齐画像，设计路由感知的数据采样策略：

• SR-断裂修复采样：对 SR-断裂样本，增加包含相同知识但需要多步推理才能使用的变体样本，强制模型在训练时就建立从存储层到计算层的路由路径
• RC-寄生消解采样：对 RC-寄生样本，增加反事实指令变体（类比 2607.06925 的 counterfactual probe），使模型在训练时学会区分指令通道与感知通道
• CC-干扰隔离采样：对 CC-干扰样本，采用交叉隔离批次构建，确保路由冲突的知识不在同一批次中更新

2.2 电路路由锚定合成

设计三种路由锚定合成策略：

• 渗透路径合成：对于 SR-断裂知识 $k$，合成一条从存储层 $l_{src}$ 到计算有效层 $l_{tgt}$ 的渐进训练路径。具体地，先训练模型在直接查询 $k$（记忆任务），再训练模型在需要 $k$ 作为中间推理步骤的多跳任务上（路由任务），每一步都施加 self-patching 监控以确认渗透路径建立
• 反事实路由合成：对于 RC-寄生知识，合成带有错误指令但正确感知的训练样本（类比 2607.06925 的修复方案：将目标从动力学中移除），强制模型学会从感知通道而非指令通道路由知识
• 冲突解耦合成：对于 CC-干扰知识对 $(k_1, k_2)$，合成需要同时使用两者的训练样本，但通过梯度投影确保两个路由路径的梯度方向正交

2.3 范式依赖的电路对齐策略

基于 Compete Then Collaborate 的核心发现——SFT 退化但 RLVR 提升——设计范式依赖的电路对齐策略：

• SFT 阶段：仅使用高路由贡献度 $C_{route}$ 的样本，并施加电路对齐门控——仅当 self-patching 确认渗透路径已建立时才将样本纳入 SFT 数据
• RLVR 阶段：将低路由贡献度但高结果正确性的样本作为 RLVR 环境，让验证奖励隐式激励路由建立
• 过渡策略：设计 SFT→RLVR 的渐进过渡，从电路对齐门控 SFT 到自由 RLVR，避免 SFT 退化（Kim 2026 的核心发现）

第三阶段：电路-能力共进化闭环

3.1 闭环机制

在每个训练迭代：

1. 诊断：对当前模型运行 self-patching 扫描，获取电路对齐画像
2. 策展：基于画像执行路由感知采样与锚定合成
3. 验证：在验证集上测量 $A(D)$ 与下游任务准确率
4. 进化：调整三类退化模式的修复强度权重

3.2 预测性电路对齐模型

训练一个轻量级预测器，在不运行 self-patching 的情况下预测新训练样本的电路对齐度：

• 输入：训练样本的嵌入 + 模型当前渗透动力学图的压缩表征
• 输出：预测的 $C_{route}(d_i)$ 与退化模式分类
• 目标：将 self-patching 的计算成本从 $O(|D| \times |L|^2)$ 降至可接受范围

3.3 跨层一致性保障

利用 Token-Flow Firewall（arXiv:2607.08395, Wang et al. 2026）的语义流审计思想，在训练时监控知识从存储层到计算层的 token 级流动，确保路由路径的语义一致性——不仅路由到达了正确层，而且传输的语义内容未被沿途层污染。

预期成果

定量目标

1. Knowing-Using Gap 缩小：在 Dai et al. 的 Knowing-Using Gap 实验设置上，将通用化准确率差距缩小 30-50%（相比标准 SFT），以原文报告的恢复比例（恢复泛化失败中 oracle 余量的 58-75%）作为理论参照
2. SFT 退化消除：在 Compete Then Collaborate 的竞赛题设置上，将 SFT 退化从 -3.0pp（竞赛题 5.9%→2.9%）逆转为 +1.5pp 以上（电路对齐门控 SFT vs. 标准 SFT）
3. 语义坍缩率降低：在 LiveCodeBench 上将有害语义坍缩率从 32% 降至 20% 以下
4. 电路对齐度提升：将 $A(D)$ 从标准 SFT 的基线提升 40%+

定性目标

1. 机制可解释性：self-patching 渗透动力学图提供训练数据→电路对齐→下游能力的完整因果链
2. 范式指导：为 SFT vs. RLVR 的选择提供电路对齐维度的理论指导，而非纯经验试错
3. 诊断工具：开源电路对齐诊断工具包，支持任意微调数据的路由完整性评估

可能的影响

1. 重新定义训练数据质量：从”结果正确性”扩展到”电路路由完整性”，为训练数据策展提供新的质量维度
2. 统一多种现象：Knowing-Using Gap、SFT 退化、语义坍缩、指令泄露等现象统一在”电路对齐缺失”框架下
3. 指导数据工程实践：为 SFT 数据筛选、RLVR 环境构建、知识注入策略提供可操作的电路对齐指导

相关工作

1. Knowing-Using Gap 与 Self-Patching（arXiv:2607.08393）：Dai et al. 形式化了微调中记忆-推理脱节现象，提出 self-patching 干预技术定位知识电路错位，设计启发式策略，恢复泛化失败中 oracle 余量（oracle headroom）的 58-75%。CIRCUIT-ALIGN 将其诊断技术从后验分析工具提升为训练数据质量的先验信号。

2. Compete Then Collaborate（arXiv:2607.08255）：Kim 2026 揭示 SFT 模仿验证解反而退化已具备能力的代码模型（竞赛题 5.9%→2.9%），而同一数据作为 RLVR 环境则提升 +49%。CIRCUIT-ALIGN 将此 SFT 退化解释为电路对齐缺失的特例，并提供范式依赖的修复策略。

3. Instruction Leakage in World Models（arXiv:2607.06925）：Wang et al. 揭示语言条件世界模型中 0.90 准确率实际是指令转录而非感知（移除目标后降至 0.27），提出将目标从动力学中移除的修复方案。CIRCUIT-ALIGN 将指令泄露视为 RC-寄生退化模式在训练数据层面的体现，并提出反事实路由合成策略。

4. Semantic Collapse in Coding Models（arXiv:2607.01953）：Richter & Papadakis 揭示 LLM 在欠规范提示下坍缩到单一错误解释（LiveCodeBench 32%），挑战了”欠规范=不连贯”的假设。CIRCUIT-ALIGN 将语义坍缩解释为 RC-寄生退化模式的代码特例——模型”知道”多种解释但只路由到训练数据中最频繁的那一个。

5. Token-Flow Firewall（arXiv:2607.08395）：Wang et al. 提出对持久化智能体 token 流的语义运行时审计，攻击成功率降至 12.5%。CIRCUIT-ALIGN 借鉴其源-汇审计思想，在训练时而非运行时监控知识从存储层到计算层的 token 级语义流动完整性。