面向智能体 Harness 工程师的失败轨迹可修复性感知训练数据工程：从失败轨迹盲蒸馏到可修复性锚定的数据策展

背景与动机

从模型权重更新到 Harness 外环控制

2026 年 7-8 月，LLM 智能体训练出现了一次范式转移：最优改进路径不再仅限于更新模型权重，而是扩展至外环控制层——即 Harness（管控程序）。这一趋势由三篇里程碑论文推动：

• Harness-R1（arXiv:2608.02276）首次提出从智能体失败轨迹中学习编辑可执行运行时 Harness 的方法：一个独立的 9B 工程师模型将目标智能体的批量失败转换为验证过的可执行补丁，通过 GRPO 在线训练，在 WebShop/ALFWorld/DBBench 上将 Qwen3.5-9B 成功率从 44.3% 提升至 53.6%（+9.3pp），微调目标后进一步提升至 64.2%（+5.0pp）。
• Living-Harness（arXiv:2607.26598）将持久化过程修复建模为交互式智能体演化器，通过门控提交写入情节记忆与状态图，实现约 10 点 Pass@1 提升，且演化后的 Harness 可迁移至不同 backbone。
• Context Assembly as the Controlled Variable（arXiv:2607.25408）从控制论角度将上下文组装视为冻结智能体的受控变量，为 Harness 策略优化提供了理论基础。

核心问题：失败轨迹不等于可修复训练数据

Harness-R1 的关键设计是”失败条件驱动的全生命周期编辑”——但这里存在一个被忽视的根本问题：并非所有失败轨迹对 Harness 工程师同等有价值。

具体而言，Agent 失败至少可分为三类：

1. Harness 可修复失败（Harness-Repairable Failures, HRF）：失败根因在于 Harness 配置缺陷（如提示不充分、工具调用序列次优、验证逻辑缺失），修改 Harness 即可修复。例如：Harness 未提供关键上下文导致智能体无法推理——补充上下文后同一智能体可成功。
2. 模型能力限制失败（Model-Limited Failures, MLF）：失败根因在于模型本身的能力边界（如推理能力不足、知识缺失），即使完美 Harness 也无法修复。例如：模型无法解出特定数学推理题——无论 Harness 如何配置，模型输出仍错。
3. 歧义性失败（Ambiguous Failures, AF）：失败根因模糊，可能同时涉及 Harness 和模型，存在多个可能的 Harness 编辑方向，缺乏明确的修复信号。

Harness-R1 将所有失败轨迹等权用于训练 Harness 工程师，这意味着 MLF 和 AF 作为不可修复噪声被注入训练数据，稀释了 HRF 的有效信号密度。更严重的是，随着 Harness 演化，早期 HRF 可能变为 MLF（因为 Harness 已修复该类缺陷，剩余失败更多反映模型限制），产生可修复性漂移——这与 PNPO（arXiv:2608.01418）揭示的策略滞后导致 off-policy 问题形成镜像对称。

为什么现有方案不够好

核心思路

提出 REPAIR-DATA 框架

REPAIR-DATA（REpairability-Prioritized Adaptive Intelligence Routing for DATA Engineering）将 Agent 失败轨迹的 Harness 可修复性（Repairability）建模为一等训练数据质量信号，通过可修复性诊断→可修复性驱动策展→可修复性-能力共进化闭环三阶段，系统性消除 Harness 工程师训练数据中的不可修复噪声。

与现有工作的关键区别

1. 从失败盲蒸馏到可修复性锚定：Harness-R1 对失败轨迹不加区分；REPAIR-DATA 引入可修复性评分作为数据准入门控，仅将高可修复性失败用于训练。
2. 从静态失败分析到可修复性漂移追踪：现有方法假设失败模式分布静态；REPAIR-DATA 显式建模 Harness 演化导致的可修复性漂移（类比 PNPO 的策略滞后），引入可修复性衰减因子。
3. 从单次修复到前向可修复性需求预测：受 CDS 前向认知需求评估启发，REPAIR-DATA 不仅分析已有失败的可修复性，还预测未来 Harness 状态下的可修复性需求分布，驱动定向失败轨迹合成。

技术路线

第一阶段：可修复性诊断

1.1 反事实可修复性估计（Counterfactual Repairability Estimation, CRE）

对每条失败轨迹 τ_fail，执行反事实 Harness 编辑：

• 生成 K 个候选 Harness 编辑 {e_1, …, e_K}（利用 Harness 工程师自身或规则化编辑策略）
• 对每个编辑 e_i，在冻结目标智能体上重运行获得轨迹 τ_i 和结果 r_i
• 定义可修复性评分：R(τ_fail) = max_i r_i - r_fail
• 若 R(τ_fail) = 0，则为 MLF（模型限制失败）；若 R(τ_fail) > θ，则为 HRF

关键挑战：反事实重运行成本高（每条轨迹需 K 次推理）。解决方案：

• 利用 GradCuit（arXiv:2608.02585）的因果信用分配梯度流，在潜在空间中估计编辑效果的代理指标
• 优先对高不确定性轨迹执行完整反事实验证

1.2 可修复性画像三维建模

定义三维可修复性画像：

• HRF 密度（HRF Density, HD）：当前失败轨迹集合中 HRF 占比，反映 Harness 优化空间
• 可修复性梯度（Repairability Gradient, RG）：同类失败在不同 Harness 状态下 R(τ) 的变化率，捕获可修复性漂移
• 修复价值分散度（Repair Value Dispersion, RVD）：R(τ) 的方差，高 RVD 意味着修复效果不稳定（AF 特征）

1.3 可修复性漂移检测

类比 PNPO 的策略滞后检测，引入可修复性漂移检测器：

• 维护可修复性滑动窗口 W_R
• 当 W_R 的 HRF 密度下降超过阈值 δ_HD 时，触发可修复性衰减警报
• 衰减因子 α(t) = exp(-λ · Δt)，其中 Δt 为轨迹年龄，λ 由 RG 估计

第二阶段：可修复性驱动策展

2.1 可修复性门控采样（Repairability-Gated Sampling, RGS）

对 Harness 工程师的训练批次，采用可修复性感知采样：

• 高 HRF 区（R(τ) > θ_high）：标准采样权重
• 低 HRF 区（R(τ) < θ_low）：降权或排除（MLF 噪声过滤）
• AF 区（θ_low ≤ R(τ) ≤ θ_high）：歧义消解采样——生成多个候选编辑并选取一致性最高的

2.2 可修复性增强合成（Repairability-Augmented Synthesis, RAS）

定向合成高可修复性失败轨迹：

• Harness 缺陷注入：对成功轨迹 τ_success，系统性地移除 Harness 中的关键配置（上下文、工具、验证逻辑），生成可控的 HRF 轨迹
• 可修复性梯度合成：在 RG 高的区域，沿可修复性梯度方向合成新的失败轨迹，确保合成轨迹处于”Harness 修改可修复”的能力前沿
• 歧义消解合成：对 AF 轨迹，通过多编辑消融实验（Ablation-based Disambiguation）确定主导失败因素，将 AF 分解为 HRF+MLF 组合

2.3 可修复性感知批次构建（Repairability-Aware Batching, RAB）

构建训练批次时考虑可修复性多样性：

• 每个 batch 维持目标 HRF:AF:MLF 比率（如 7:2:1），确保 Harness 工程师既学习高信号 HRF，也见过 AF/MLF 以提升鲁棒性
• 在同一 batch 内避免可修复性同质化（同一类 Harness 缺陷的失败过多），引入可修复性多样性正则

第三阶段：可修复性-能力共进化闭环

3.1 双层进化动力学

定义双层进化系统：

• 内层：目标智能体能力进化（通过 SFT/RL 更新模型权重）
• 外层：Harness 工程师能力进化（通过 GRPO 更新工程师权重）+ Harness 策略演化

两层之间存在可修复性耦合：内层进化改变失败分布 → 外层面临新的可修复性分布 → 外层进化改变 Harness → 内层在新 Harness 下产生新失败模式。

3.2 可修复性均衡检测与逃逸

当 HRF 密度趋近于零时（所有失败均变为 MLF），Harness 工程师训练进入可修复性均衡——类似于 skill self-play 中的捷径均衡。此时：

• 触发 Harness 结构扩展：引入新工具、新验证逻辑或新上下文源，重新创造可修复空间
• 利用 CDS 的前向需求评估：预测当前 Harness 配置下未来可能出现的 HRF 模式，提前合成对应训练数据

3.3 非对称进化速率控制

Harness 工程师的进化速率应与目标智能体的能力增长保持匹配：

• 目标智能体快速提升时 → Harness 工程师需要更快适应新失败模式
• 目标智能体已收敛时 → Harness 工程师应进入精修模式（fine-grained repair）
• 引入速率比 ρ = v_engineer / v_target，动态调整工程师的训练步数和数据量

预期成果

定量目标

1. 不可修复噪声过滤率：相比 Harness-R1 等权训练，MLF 在训练数据中的占比从 ~40% 降至 < 10%
2. Harness 工程师训练效率：在相同计算预算下，REPAIR-DATA 训练的工程师在 WebShop/ALFWorld 上较 Harness-R1 基线提升 ≥ 3pp 任务成功率
3. 可修复性漂移鲁棒性：在目标智能体经过 3 轮 SFT/RL 更新后，REPAIR-DATA 训练的工程师性能衰减 < 1pp（对比 Harness-R1 的 ~4pp 衰减）
4. 训练数据效率：达到 Harness-R1 同等性能所需的失败轨迹数量减少 ≥ 50%（通过可修复性门控过滤低信号数据）

定性目标

1. 建立”可修复性”作为 Harness 工程师训练数据质量的形式化定义与度量体系
2. 揭示 Harness 演化中可修复性漂移的动力学规律，为 outer-loop control 的数据工程提供理论支撑
3. 将 off-policy 修正理论（PNPO）从模型权重更新场景扩展至 Harness 编辑场景

可能的影响

1. 实践层面：降低 Harness 工程师的训练数据需求与成本，使小团队也能利用失败轨迹优化 Agent Harness
2. 方法论层面：将”数据质量信号”范式从模型训练扩展至外环控制层训练，开辟新的数据工程研究方向
3. 理论层面：建立模型能力演化与 Harness 可修复性之间的耦合动力学理论，为 Agent 自进化系统设计提供指导

相关工作

1. Harness-R1: Learning to Edit Executable Runtime Harnesses from Agent Failure Trajectories（arXiv:2608.02276）—— 首个从失败轨迹学习编辑可执行 Harness 的方法，但未建模失败轨迹的可修复性差异，是本提案的直接改进对象。

2. Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization（arXiv:2608.01418）—— 解决 LLM RL 中 rollout 重用时的 off-policy 修正问题，其”策略滞后”概念可类比为 Harness 演化中的”可修复性漂移”，为本提案的漂移建模提供理论参照。

3. Cognitive Demand Steering for Adaptive Meta-Reasoning in Large Language Models（arXiv:2608.01319）—— 提出前向认知需求评估替代后向奖励评估，其”残余推理需求”概念可迁移至”残余可修复性需求”，为本提案的前向可修复性需求预测提供方法模板。

4. Living-Harness Is an Interactive-Agent Evolver（arXiv:2607.26598）—— 将持久化过程修复建模为交互式演化器，通过门控提交实现 Harness 持续改进，但其门控机制基于任务级成功/失败，未建模可修复性粒度。

5. GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning（arXiv:2608.02585）—— 在测试时插入可优化潜在状态实现序列级信用分配，其因果注意力路径为可修复性反事实估计提供了计算高效的代理指标方案。