研究提案 已修订

面向智能体后训练的晚救援脆弱性感知训练数据工程：从输出正确性幻觉到内部推理路径稳定性保障

将 LLM 晚救援（wrong-dip）机制从微调后诊断工具重构为训练数据质量的先验信号，设计晚救援脆弱性感知的数据策展与合成策略，系统性消除输出仅 SFT 对内部推理路径稳定性的隐性破坏

晚救援脆弱性 wrong-dip 能力侵蚀 智能体后训练 训练数据工程 机制可解释性 RLVR 代码智能体

背景与动机

输出正确性幻觉

当前 LLM 智能体后训练范式（SFT + RLVR）以输出正确性作为核心质量信号：SFT 阶段学习正确轨迹的行为模式，RLVR 阶段以验证奖励优化最终答案。然而，Deng (2026) 在 arXiv:2607.04640 中揭示了一个被长期忽视的现象——晚救援（late rescue）：在 LLM 的中间层（25%–90% 深度），模型内部偏好会瞬时偏向错误答案，仅在后续层被纠正机制挽回。更关键的是，仅优化输出正确性的 SFT 会将 wrong-dip 放大最多 2.8 倍——即使表面准确率完美，内部推理路径却更加脆弱。

能力侵蚀的结构性根源

Wang et al. (2026) 在 arXiv:2607.12463 中发现，智能体后训练会造成非智能体编码能力和非编码工具使用能力的系统性退化（capability erosion）。他们通过 function-aware FIM 中间训练成功缓解了这一问题，但并未解释侵蚀的机制根源。Wrong-dip 现象提供了这一解释：智能体后训练中的 SFT 阶段系统性地放大了晚救援脆弱性，使得模型的正确输出越来越依赖于不稳定的内部纠偏机制，而非稳健的推理路径。

现有方案的不足

  • Function-Aware FIM（arXiv:2607.12463）：从预训练-后训练结构对齐角度缓解侵蚀，但仅针对 action-observation-continuation 这一特定结构同构，未触及 SFT 放大 wrong-dip 的通用机制
  • SCOPE-RL（arXiv:2607.11506）：从奖励稀疏性角度做阶段特异性增密，但仍在输出正确性框架内操作，未考虑内部推理路径稳定性
  • Knowing-Using Gap（arXiv:2607.08393）：从电路路由完整性角度诊断微调退化，但聚焦于”知识-使用”脱节，而非内部偏好动态的晚救援脆弱性
  • Compete Then Collaborate（arXiv:2607.08255）：识别 SFT-RLVR 范式鸿沟，但仅从数据范式依赖性角度提出路由策略，未深入机制层面

核心缺失：现有工作均未将内部推理路径稳定性作为训练数据质量的一等信号。当前训练数据策展仅关注”输出是否正确”和”轨迹是否多样”，完全忽视了”训练数据是否在放大模型的内部脆弱性”。

核心思路

提出 RESCUE-AWARE（RESCUE-Aware Stability-Curated Engineering for Unified Endogenous-robustness）框架，将 LLM 的晚救援脆弱性从微调后诊断工具重构为训练数据质量的先验信号。

关键区别

  1. 从输出级到路径级：不同于现有工作仅关注训练数据的输出正确性，RESCUE-AWARE 引入内部推理路径稳定性作为数据质量的新维度——一个训练样本即使输出完全正确，如果它会放大模型的 wrong-dip，其数据质量仍然是有缺陷的
  2. 从后验诊断到先验预测：不同于 arXiv:2607.04640 的后验 layer-wise DiD 诊断，RESCUE-AWARE 旨在预测哪些训练数据模式会放大 wrong-dip，在数据策展阶段即进行筛选
  3. 从能力侵蚀缓解到稳定性主动保障：不同于 arXiv:2607.12463 通过结构对齐间接缓解侵蚀，RESCUE-AWARE 直接以稳定性保障为目标设计训练数据

核心假设

晚救援脆弱性传播假设：SFT 训练数据的 wrong-dip 放大效应遵循可预测的模式——特定语义结构（如高不确定性的决策点、长距离依赖的推理步骤、范式冲突的行为示范）会系统性地放大模型的内部偏好偏转。这些模式可以在数据策展阶段被识别和规避。

技术路线

阶段一：晚救援脆弱性诊断

目标：建立训练数据特征 → wrong-dip 放大效应的预测模型

  1. Wrong-Dip Amplification Factor (WDAF) 估计

    • 对每个训练样本 x_i，在 SFT 前后计算 layer-wise DiD 轨迹
    • 定义 WDAF(x_i) = Δ_dip(post-SFT) / Δ_dip(pre-SFT)，衡量该样本对 wrong-dip 的放大程度
    • 借鉴 arXiv:2607.04640 的极性控制最小对方法和 patchscope 激活移植验证因果性

  2. 数据级脆弱性画像

    • 提取训练样本的语义特征：决策点不确定性分布、推理链长度、步骤间依赖距离、范式一致性
    • 建立 WDAF 预测模型：f(features(x)) ≈ WDAF(x)
    • 识别三类高 WDAF 数据模式：
      • 歧义强化型：在决策不确定性高的步骤提供确定性示范，迫使模型学习”强行决断”而非”稳健推理”
      • 延迟补偿型：早期步骤错误但后续步骤隐式修正的轨迹，强化”先错后纠”模式
      • 范式冲突型：SFT 示范的行为模式与预训练习得的内部推理结构不一致

  3. 脆弱性-能力耦合分析

    • 分析 WDAF 与输出正确性的关系：是否存在”输出正确但高 WDAF”的样本子集
    • 量化晚救援脆弱性-能力权衡：在哪些能力维度上，稳定性与正确性存在张力

阶段二：晚救援脆弱性感知数据策展

目标：设计兼顾输出有效性与内部稳定性的训练数据策展策略

  1. 稳定性门控采样（Stability-Gated Sampling）

    • 将 WDAF 预测作为采样权重：优先选择低 WDAF 的训练样本
    • 设计稳定性-有效性联合门控：仅当 WDAF(x_i) < τ_stable 且 correctness(x_i) > τ_correct 时纳入
    • 阈值 τ_stable 通过验证集上稳定性-能力的帕累托前沿确定

  2. 晚救援增强合成（Late-Rescue-Enhanced Synthesis）

    • 针对”延迟补偿型”高 WDAF 样本，合成显式纠偏推理路径替代隐式修正
    • 将”先错后纠”轨迹改写为”稳健渐进”轨迹：在决策关键步骤增加显式不确定性评估和推理路径选择
    • 借鉴 arXiv:2607.04640 的 mid-layer wrong-margin penalty 思路，在合成数据中嵌入”正确偏好先行”的中间表示

  3. 脆弱性感知批次构建（Fragility-Aware Batching）

    • 在 SFT 训练中，确保每个批次内高 WDAF 样本与低 WDAF 样本的平衡
    • 避免”脆弱性累积”：连续的高 WDAF 样本会叠加放大 wrong-dip
    • 设计脆弱性感知学习率调度：对高 WDAF 样本降低学习率，减轻其破坏性

  4. 阶段特异性稳定性策略

    • 借鉴 SCOPE-RL（arXiv:2607.11506）的”成功前后”阶段划分
    • 成功前（ASR 阶段）：wrong-dip 放大主要来自”歧义强化型”样本——需要增加脚手架式中间推理
    • 成功后（QPR 阶段）：wrong-dip 放大主要来自”延迟补偿型”样本——需要质量感知的过程奖励修正

阶段三：稳定性-能力共进化闭环

  1. 训练后稳定性评估

    • 每个 epoch 后，在探测集上计算 WDAF 变化
    • 监控”稳定性预算”：总 WDAF 增量是否超出安全阈值

  2. 自适应策展策略调整

    • 当 WDAF 超过阈值时，自动收紧 τ_stable
    • 当能力指标下降时，适当放宽 τ_stable 并增加稳定性增强合成

  3. 稳定性-能力帕累托前沿追踪

    • 持续记录 (capability, stability) 二维指标
    • 确保训练过程沿帕累托前沿推进而非偏向任一极端

关键技术挑战

  1. WDAF 计算成本：layer-wise DiD 需要多次前向传播，对大规模训练数据不可行 → 解决方案：训练轻量级 WDAF 预测器，仅对少量样本做精确 DiD 计算
  2. 稳定性-能力张力：降低 WDAF 可能牺牲输出多样性 → 解决方案：仅在 WDAF 超过安全阈值时干预，保留良性多样性
  3. 跨模型泛化：wrong-dip 的模型特异性（Qwen2.5 vs Llama-3 vs Mistral 行为不同） → 解决方案：对每个目标模型独立标定 WDAF 预测器
  4. 因果归因：单个训练样本对全局 wrong-dip 的因果贡献难以精确量化 → 解决方案：采用反事实消融实验估计边际贡献

预期成果

定量目标

  1. 智能体后训练后 wrong-dip 放大系数降低 50%+（相比标准 SFT + RLVR 流水线）
  2. 能力侵蚀减少 40%+：在非智能体编码基准（LiveCodeBench）和非编码工具基准（tau-bench, BFCL）上，后训练后性能退化幅度减半
  3. 智能体基准不退化：SWE-Bench-Verified/Lite 分数不低于标准后训练流水线
  4. 稳定性-能力帕累托改进：在 (capability, stability) 二维空间中，RESCUE-AWARE 严格帕累托优于标准流水线

定性目标

  1. 建立训练数据质量的”第三维度”——除正确性和多样性外，增加内部推理路径稳定性
  2. 为 function-aware FIM 等”侵蚀缓解”方法提供机制层面的解释：为什么结构对齐能缓解侵蚀？因为结构对齐的数据恰好具有低 WDAF
  3. 为 SFT-RLVR 范式鸿沟（arXiv:2607.08255）提供新的解释框架：SFT 和 RLVR 的数据可能具有系统性不同的 WDAF 分布

可能的影响

  1. 训练数据质量评估范式转变：从”输出驱动”到”输出-稳定性联合驱动”，使训练数据策展不再仅关注”教会模型做什么”，也关注”不破坏模型已有的稳健推理路径”
  2. 智能体后训练的新设计原则：后训练流水线应将内部推理路径稳定性作为一等约束，而非仅作为训练后诊断指标
  3. 机制可解释性指导数据工程的示范：展示 layer-wise 诊断信号如何从分析工具转化为训练数据的先验质量信号

相关工作

  1. Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models (Wang et al., 2026)

    • arXiv:2607.12463
    • 揭示智能体后训练造成的能力侵蚀可通过 function-aware FIM 中间训练缓解；本文将其解释为结构对齐数据的低 WDAF 特性，并提供通用化的稳定性感知策展框架

  2. Wrong Before Right: Late Rescue and Interface Failure in Aligned Language Models (Deng, 2026)

    • arXiv:2607.04640
    • 发现 LLM 中间层的 wrong-dip 现象及其可训练性；本文将 wrong-dip 从后验诊断工具重构为训练数据质量的先验信号，并建立 WDAF 预测模型

  3. SCOPE-RL: Optimizing Reasoning Paths Before and After Success (Liu et al., 2026)

    • arXiv:2607.11506
    • 提出 RLVR 奖励的阶段特异性增密（ASR/QPR）；本文在稳定性维度上补充阶段特异性策略——不同阶段的 wrong-dip 放大模式不同

  4. Knowing-Using Gap: Circuit Routing Integrity in Fine-tuning (2026)

    • arXiv:2607.08393
    • 从电路路由完整性角度诊断微调退化；本文聚焦于不同层面的退化机制——内部偏好偏转（wrong-dip）而非知识-使用脱节

  5. Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation (2026)

    • arXiv:2607.08255
    • 识别 SFT-RLVR 范式鸿沟并提出范式依赖性数据路由（官方摘要：对已具备能力的学生做 SFT 模仿不升反降，而把同一课程用作 RLVR 环境则提升，方向相反）；本文从机制层面提供新解释——SFT 和 RLVR 数据的 WDAF 分布系统性不同

关联内容

研究 🔗 相关
面向LLM微调的电路对齐感知训练数据工程：从记忆-推理脱节诊断到电路路由锚定的数据策展（CIRCUIT-ALIGN 框架）
将微调训练数据中的电路对齐退化建模为一等数据质量信号，通过记忆-推理脱节诊断与电路路由锚定数据策展，系统性消除LLM微调中的Knowing-Using Gap
研究 🔗 相关
面向代码生成的范式感知训练数据工程：从SFT退化诊断到验证课程自适应路由
诊断同一验证数据在SFT中退化、RLVR中提升的范式鸿沟现象，提出范式感知的训练数据工程框架，实现验证课程的自适应路由与SFT安全变换
研究 🔗 相关
面向LLM后训练的电路脆弱性感知训练数据工程：从机制级遗忘诊断到电路锚定的数据策展
将差分电路脆弱性从微调后分析工具扩展为训练数据质量的先验信号，通过电路脆弱性预测→电路锚定数据策展→脆弱性-能力共进化闭环，主动预防训练数据导致的电路破坏