面向长程智能体训练的失败级联感知数据工程：从独立失败修复到级联断点锚定的训练数据策展

背景与动机

长程智能体（long-horizon agent）在执行需要数十步工具调用与决策的任务时，表现出与短程任务截然不同的失败模式。近期的系统性综述与实证研究揭示了一个关键现象：失败在长程执行中非线性级联——单个早期错误不仅自身造成局部损害，还通过上下文污染（self-conditioning）机制系统性抬升后续步骤的错误率。

具体而言，当前领域面临三个核心问题：

问题一：独立失败假设的局限。 CurateEvo（arXiv:2607.06140）开创性地将数据策展策略建模为可演化的可执行代码，通过失败轨迹驱动策展策略迭代重写，在 ACEBench-Agent、BFCL-V4 等基准上取得显著提升。然而，CurateEvo 将失败模式诊断为”recurring failure modes”——独立可修复的重复模式，忽略了失败之间的因果依赖结构。一个工具调用参数错误（failure mode A）可能使模型对后续工具的输出格式产生误判（failure mode B），A→B 的级联关系使得单独修复 B 无法解决问题，必须同时阻断 A→B 的传播路径。

问题二：自条件化的训练盲区。 The Illusion of Diminishing Returns（arXiv:2509.09677, ICLR 2026）实证表明，Qwen3-32B 在 15 轮内准确率从近 100% 降至 50% 以下，根本机制是”自条件化”：模型在上下文中读到自身先前错误后，后续步骤犯错概率被系统性抬高。CCRM（arXiv:2605.08563）进一步形式化为 ε₁ > ε₀ 的上下文污染重启模型。但这些工作聚焦推理时诊断，未从训练数据工程层面主动阻断自条件化的习得根源。

问题三：级联与修复的非对称性。 Beyond the Leaderboard（arXiv:2607.05775）综合 27 篇评测/审计论文，识别出 6 大失败集群，并发现 “failure compounds non-linearly with task length” 且 “additional scaffolding does not uniformly improve reliability”。这暗示：对级联式失败，简单的单点修复（增加脚手架/重试）效果有限，必须理解级联的传播拓扑才能在正确位置施加干预。

核心矛盾： 现有训练数据工程将失败视为独立原子事件加以修复，但长程执行中的失败本质上是因果级联——需要从”修复独立失败”范式转向”打断级联传播链”范式。

核心思路

提出 CASCADE-DATA（Cascade-Aware Structured Curation with Adaptive Data Engineering）框架，将长程智能体训练数据中的失败级联结构建模为一等数据质量信号。

与现有工作的关键区别：

维度	CurateEvo	HORIZON	CASCADE-DATA
失败建模	独立重复模式	跨域诊断分类	因果级联依赖图
策展粒度	策略级代码重写	任务/轨迹级诊断	级联断点级数据策展
自条件化	未建模	未建模	核心建模对象
干预机制	增强/过滤/精炼数据	诊断报告	断点锚定+级联中断增强

核心创新点：

1. 级联依赖图（Cascade Dependency Graph, CDG）：将有向因果结构显式建模为训练数据的一等质量信号，区别于 CurateEvo 的扁平失败模式列表
2. 级联断点（Cascade Breakpoint）：识别级联传播链中的关键干预点——在此处正确执行即可打断后续级联，将有限的数据合成预算集中在杠杆率最高的步骤
3. 自条件化免疫训练：通过在训练轨迹中注入”错误上下文→正确恢复”的配对样本，使模型习得在受污染上下文中抵抗自条件化的能力

技术路线

第一阶段：级联依赖图诊断

步骤 1.1：级联感知失败归因

• 收集智能体在长程任务中的失败轨迹，使用步骤级因果归因方法识别失败传播方向
• 对每个失败步骤 t，计算条件错误率 P(err_t | err_{t-k:t-1}) 与基线错误率 P(err_t) 的比值，定义级联放大因子 α(t, k) = P(err_t | err_{t-k:t-1}) / P(err_t)
• 当 α(t, k) > 阈值 τ_cascade 时，标记为级联受感步骤（cascade-susceptible step）

步骤 1.2：级联依赖图构建

• 节点 = 失败模式类别（工具参数错误、格式误判、状态推断失败、计划偏离等）
• 有向边 = 级联传播关系，权重为条件放大因子 α
• 区分三类级联边：
  • 直接级联（direct cascade）：同一轨迹内 t → t+1 的即时传播
  • 潜在级联（latent cascade）：跨越多步的延迟传播（如步骤 t 的错误直到 t+k 才被激活）
  • 跨工具级联（cross-tool cascade）：从工具 A 的输出错误传播至工具 B 的输入误判

步骤 1.3：断点识别

• 在 CDG 上计算每个节点的级联杠杆度（Cascade Leverage Score, CLS）：该节点被修复后可阻断的下游级联路径总权重
• 将 CLS 排名前 P% 的步骤标记为级联断点（cascade breakpoints）——这些是”杠杆率最高”的干预位置

第二阶段：级联感知数据策展

步骤 2.1：断点锚定轨迹合成（Breakpoint-Anchored Trajectory Synthesis）

• 对于每个级联断点 b，合成三类训练轨迹：
  • 预防型（preventive）：在断点 b 前的级联受感步骤正确执行，阻断级联触发
  • 恢复型（recovery）：在断点 b 前已发生错误，但在断点 b 处正确执行，打断级联传播
  • 免疫型（immunity）：在断点 b 前的上下文中注入已存在的错误历史（模拟自条件化上下文），但模型在 b 处仍做出正确决策

步骤 2.2：级联中断增强（Cascade Interruption Augmentation）

• 从真实失败轨迹中提取级联前缀（cascade prefix，即级联发生前的步骤序列），然后：
  • 将级联前缀作为上下文，要求模型从断点处重新开始正确执行
  • 引入”级联中断信号”：在断点处插入显式的自我检查步骤（“Let me verify the previous results before proceeding”），打断自条件化的自动传播
  • 对比训练：同一级联前缀下，断点处正确 vs. 错误的步骤级对比样本

步骤 2.3：自条件化免疫课程（Self-Conditioning Immunity Curriculum）

• 设计渐进式训练课程，逐步增加上下文中的”错误密度”：
  • Level 1：干净上下文（无错误历史）→ 习得基础执行能力
  • Level 2：轻度污染（1-2 步历史错误）→ 习得基本的错误抵抗
  • Level 3：中度污染（3-5 步历史错误）→ 习得在部分失败上下文中恢复
  • Level 4：重度污染（5+ 步历史错误）→ 习得高度自条件化抵抗
• 每级只在模型达到通过率阈值后才升级，避免训练不稳定

第三阶段：级联-能力共进化闭环

步骤 3.1：级联脆弱性监控

• 在每轮训练后，在 held-out 长程任务上评估：
  • 级联放大因子 α 的变化趋势
  • 断点处通过率变化
  • 自条件化弹性指数（Self-Conditioning Resilience Index, SCRI）：在受污染上下文中的正确率 / 在干净上下文中的正确率

步骤 3.2：级联感知数据混合

• 根据当前级联脆弱性画像，动态调整训练数据中预防型/恢复型/免疫型样本的比例
• 对级联放大因子最高的路径，增加断点锚定合成数据的权重
• 对 SCRI 最低的步骤类型，增加免疫型样本的权重

步骤 3.3：CDG 动态更新

• 随着模型能力进化，级联依赖结构本身也会变化——修复一个断点可能导致新的级联路径浮现
• 每轮训练后重新计算 CDG，识别新出现的级联路径和级联断点
• 形成”能力进化→级联结构变化→数据策展调整”的共进化闭环

关键技术挑战

1. 级联因果识别的混淆因素：如何区分”真级联”（A 因果导致 B）与”共现失败”（A 和 B 共同由隐藏因素 C 导致）？方案：采用反事实消融测试——在控制 A 正确的条件下观察 B 的错误率是否显著下降

2. 断点识别的泛化性：在不同任务域/工具组合中级联断点是否一致？方案：跨域 CDG 对齐实验，识别领域不变级联结构 vs. 领域特异级联结构

3. 免疫型样本的过拟合风险：模型可能学到”无论上下文如何，在断点处总做某个固定动作”而非真正的级联抵抗能力。方案：引入级联断点多样性约束，确保免疫型样本覆盖多种级联前缀和正确恢复路径

4. 训练数据效率：免疫型样本需要构造级联前缀（含错误历史），成本高于常规合成。方案：复用 CurateEvo 的失败轨迹作为级联前缀来源，实现”废物利用”

预期成果

定量目标

1. 级联放大因子降低：在 τ²-Bench、ACEBench-Agent 等长程基准上，将平均级联放大因子 α 从基线降低 30% 以上
2. 自条件化弹性指数提升：SCRI 从基线（预计 0.4-0.6）提升至 0.75 以上
3. 长程任务端到端成功率：在 20+ 步任务上，相对 CurateEvo 基线提升 5-8 个百分点
4. 级联断点通过率：在识别出的 Top-3 断点处，通过率从基线提升 15-20 个百分点

定性目标

1. 揭示级联结构规律：首次在多个智能体基准上系统刻画失败级联的有向依赖拓扑，为社区提供”级联图谱”资源
2. 建立级联感知数据工程范式：从”修复独立失败”转向”打断级联传播链”的范式转换，为后续研究提供方法论框架
3. 自条件化免疫的可迁移性：验证在一个任务域习得的级联抵抗能力是否可迁移至新域

可能的影响

1. 对 CurateEvo 的互补增强：CASCADE-DATA 的级联依赖图可自然融入 CurateEvo 的策展策略代码，使其从”独立失败驱动”升级为”级联结构驱动”
2. 对 CCRM 理论的工程落地：将 CCRM 的 ε₁ > ε₀ 形式化结论转化为可操作的训练数据策展策略
3. 对 AReaL 2.0 自进化系统的数据质量保障：为在线 RL 闭环中的轨迹数据质量提供级联感知的筛选准则

相关工作

1. CurateEvo: Data-Curation Evolving for Agentic Post-Training (arXiv:2607.06140, 2026-07) 失败驱动的动态数据策展演化框架，将策展策略表示为可执行代码并利用失败轨迹迭代重写。本文在 CurateEvo 基础上将独立失败模式扩展为因果级联依赖结构。

2. Beyond the Leaderboard: A Synthesis of Tool-Use, Planning, and Reasoning Failures in LLM Agents (arXiv:2607.05775, 2026-07) 综合 27 篇论文的跨域失败分类学，揭示”failures compound nonlinearly with task length”。本文将此经验观察形式化为级联依赖图并操作化为数据策展信号。

3. The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs (arXiv:2509.09677, ICLR 2026) 发现”自条件化”机制——模型在上下文中读到自身先前错误后后续错误率抬升；在只比较 Qwen3 与 Gemma3 两个开源系列的实验里，表现最好的 Qwen3-32B 也在 15 轮内从首轮 100% 掉到 50% 以下。本文从训练数据层面主动阻断自条件化的习得。

4. Why Retrying Fails: Context Contamination in LLM Agent Pipelines (arXiv:2605.08563, 2026-05) 形式化上下文污染重启模型（Context-Contaminated Restart Model, CCRM），证明 ε₁ > ε₀ 的级联开销定理和最优预算分配定理。本文将 CCRM 的理论结论转化为级联感知的数据策展策略。

5. SCOPE: Leveraging Subgoal Critiques for Code Generation (arXiv:2607.05810, 2026-07) 子目标级语义缺口识别与结构化反馈生成，在 LiveCodeBench V6 上达 39.4% pass@1。本文将 SCOPE 的子目标粒度从推理时反馈扩展至训练时级联断点识别。