面向自进化智能体Harness受益能力差距的诊断性训练数据工程：从能力平坦性到激活-遵循联合校准

背景与动机

当前领域面临的问题

自进化LLM智能体通过更新外部Harness（提示、技能、记忆、工具）来适应新任务，而无需修改模型参数。然而，最近的研究揭示了一个令人惊讶的事实：Harness更新能力与Harness受益能力之间存在根本性脱节。

arXiv:2605.30621（“Harness Updating Is Not Harness Benefit”）对多个能力层级的模型进行了系统分析，发现：

1. Harness更新能力的平坦性：不同能力层级的模型（从Qwen3.5-9B到Claude Opus 4.6）产生的Harness更新带来的增益惊人地相似——即弱模型也能产出高质量的Harness更新。
2. Harness受益能力的非单调性：受益能力呈倒U型曲线——弱模型受益很少，中等模型受益最大，强模型受益反而低于中等模型。

为什么现有方案不够好

现有自进化训练范式存在三个核心盲区：

1. 更新-受益不对等的忽视：现有工作（如SELA、CoEvolve、DGM）假设”更好的更新→更好的结果”的线性关系，完全忽视了受益能力的非单调特性，导致在弱模型上投入更新能力的资源被浪费。

2. 受益失败模式的未诊断性：弱模型受益失败被追溯为两种具体模式——激活失败（未能调用相关的Harness构件）和遵循失败（调用了但未忠实执行）。然而，现有训练数据并未针对这两种失败模式进行定向设计。

3. 训练数据的受益盲性：当前Agent RL训练数据（如GRPO的on-policy轨迹）仅优化任务成功率，完全忽视了轨迹中Harness构件的使用质量——模型是否正确激活了相关技能/工具/记忆？是否忠实遵循了被激活的Harness指令？

与此同时，arXiv:2605.31509（ReuseRL）表明，基于最小描述长度（MDL）原则的技能复用压缩可以提升Agent RL的泛化性，但其压缩惩罚仅作用于输出端，未触及Harness调用的压缩性——即模型是否以最简洁的方式激活了正确的Harness构件组合。arXiv:2605.28860进一步揭示，RL相比SFT更好地保留功能电路，暗示训练数据的结构化信号对于保留Harness调用能力至关重要。

核心思路

提出的方法：HARNESS-BRIDGE框架

我们提出HARNESS-BRIDGE（HARNESS Benefit Reasoning Intervention via Diagnostic Gap Engineering），一个面向自进化智能体Harness受益能力差距的诊断性训练数据工程框架。

核心主张：将Harness受益能力差距建模为一等训练数据质量信号，通过双路诊断（激活失败路径 + 遵循失败路径）驱动定向数据工程，系统性弥合自进化智能体的受益能力瓶颈。

与现有工作的关键区别

维度	现有范式	HARNESS-BRIDGE
优化目标	最大化任务成功率	最大化任务成功率 + Harness受益率
更新-受益关系	假设线性	显式建模非单调性
失败模式处理	统一作为负样本	区分激活失败 vs 遵循失败，分别设计数据
数据质量信号	轨迹级正确性	构件级激活正确性 + 指令级遵循正确性
技能复用视角	仅输出端压缩	Harness调用链的压缩性约束
与电路保护的关系	未考虑	受益能力作为电路保留的代理信号

技术路线

阶段一：受益能力差距诊断（Benefit Gap Diagnosis）

1.1 Harness受益率度量（HBR）

定义Harness受益率（Harness Benefit Rate, HBR）：

$\text{HBR}(M, H_{\text{updated}}) = \frac{\text{Acc}(M, H_{\text{updated}}) - \text{Acc}(M, H_{\text{base}})}{\text{Acc}(M_{\text{strong}}, H_{\text{updated}}) - \text{Acc}(M_{\text{strong}}, H_{\text{base}})}$

其中 $M$ 为目标模型，$H_{\text{updated}}$ 为更新后的Harness，$H_{\text{base}}$ 为基础Harness，$M_{\text{strong}}$ 为参考强模型。HBR=1表示完全受益，HBR=0表示完全未受益。

1.2 双路失败模式分解

对HBR < 阈值的轨迹进行失败归因：

• 激活失败路径：轨迹中应调用Harness构件 $h_k$ 但未调用。通过因果反事实分析判断：若在对应决策点注入 $h_k$ 的引用，后续行为是否改变。
• 遵循失败路径：轨迹中调用了 $h_k$ 但未忠实执行其指令。通过指令-行为对齐检测判断：在 $h_k$ 被激活后的动作序列是否与 $h_k$ 的规约一致。

1.3 受益差距画像

为每个模型-任务对构建受益差距画像（BGP）：

$\text{BGP}(M, T) = \{(\text{type}: \text{activation}|\text{following},\ \text{artifact}: h_k,\ \text{severity}: s_k)\}$

阶段二：双路定向数据工程（Dual-Path Data Engineering）

2.1 激活感知数据合成（Activation-Aware Data Synthesis）

针对激活失败，设计三类训练数据：

• 调用锚定轨迹：在Harness构件应被调用的决策点前注入”调用触发上下文”（如相关记忆片段、工具描述摘要），使模型学习从上下文到构件调用的映射。借鉴LongTraceRL（arXiv:2605.31584）的分层干扰项思想，在调用触发上下文中加入高混淆度的非目标构件描述，迫使模型学习精确的激活判别。
• 压缩性调用约束：基于ReuseRL（arXiv:2605.31509）的MDL原则，在RL目标中加入Harness调用链的分割成本，惩罚不必要的冗余调用（激活了不该激活的构件），鼓励最小充分调用集。
• 调用缺失惩罚：对应调用但未调用的轨迹施加额外负奖励，建立调用缺失的显式梯度信号。

2.2 遵循感知数据合成（Following-Aware Data Synthesis）

针对遵循失败，设计三类训练数据：

• 指令-行为对齐轨迹：对每个Harness构件 $h_k$ 的规约，生成”忠实执行”示范轨迹和”偏离执行”对比轨迹，通过对比学习强化指令遵循。借鉴arXiv:2605.28860的电路保留洞察——RL训练中忠实遵循Harness指令的电路应被显式保护。
• 长程指令遵循课程：按照Harness指令的复杂度（单步→多步→条件分支→循环）构建渐进式课程，逐步提升长程遵循能力。
• 遵循漂移检测与修复：在轨迹执行过程中检测遵循漂移点（从忠实转向偏离），在这些关键点注入修正信号或生成修复子轨迹。

2.3 受益驱动的数据混合（Benefit-Driven Data Mixing）

根据BGP画像动态调整两类数据的混合比例：

• 对于激活失败为主的模型-任务对，增加激活感知数据比例
• 对于遵循失败为主的模型-任务对，增加遵循感知数据比例
• 引入HBR驱动的课程：随着HBR提升，逐步降低定向数据比例，增加标准任务数据比例

阶段三：受益-能力共进化闭环（Benefit-Capability Co-evolution Loop）

3.1 评估-诊断-策展循环

┌──────────────────────────────────────────────────┐
│  1. 在当前Harness上评估模型 → 计算HBR            │
│  2. 对HBR低的轨迹进行双路失败归因 → 更新BGP      │
│  3. 根据BGP定向合成训练数据 → 混合并训练          │
│  4. 重新评估 → 检查HBR变化 → 调整数据混合策略     │
│  5. 若HBR收敛 → 进入下一轮Harness更新            │
│     若HBR未收敛 → 回到步骤2加深诊断               │
└──────────────────────────────────────────────────┘

3.2 更新-受益联合优化

在Harness更新阶段，不仅评估更新的任务增益，还评估更新对HBR的影响：

• 若更新显著提升任务性能但未改善HBR → 该更新可能引入了模型无法受益的新构件
• 若更新略微降低任务性能但显著提升HBR → 该更新可能简化了Harness结构使模型更易受益
• 优化目标：$\max_{H} \text{Acc}(M, H) \cdot \text{HBR}(M, H)$

3.3 电路保护校验

借鉴arXiv:2605.28860的方法，在每轮训练后检查Harness调用相关电路的保留情况：

• 若关键调用电路受损 → 降低RL学习率或增加调用锚定数据
• 若电路完整但HBR仍低 → 问题在遵循端，增加遵循感知数据

关键技术挑战

1. 受益归因的因果性：如何区分”因未调用构件而失败”与”因其他原因失败但恰好也未调用构件”？需要反事实分析框架，计算在对应决策点注入构件引用后的反事实轨迹。

2. 遵循度的量化：如何精确度量”忠实遵循”？自然语言指令的遵循度评估本身是非平凡的，需要将Harness规约结构化（如转换为可验证的检查点序列）。

3. 数据混合的自适应：不同模型-任务对的BGP画像差异显著，如何设计通用的混合策略？可能需要元学习框架来学习混合策略。

4. 更新-受益的联合优化：Harness更新和模型训练是两个独立的优化过程，如何在一个闭环中协调？需要设计跨过程的信号传递机制。

预期成果

定量目标

1. HBR提升：在弱-中层级模型上，HBR从当前0.3-0.5提升至0.7-0.85，使受益能力接近强模型水平
2. 任务成功率提升：在ALFWorld、WebArena、Mind2Web等Agent基准上，相比标准GRPO训练，任务成功率相对提升15-25%
3. 激活失败率降低：激活失败率从当前的40%降低至15%
4. 遵循失败率降低：遵循失败率从当前的30%降低至10%
5. 更新效率提升：由于受益能力改善，相同质量的Harness更新带来的边际增益提升2-3倍

定性目标

1. 建立Harness受益能力的系统化诊断方法论，为自进化Agent的训练数据工程提供理论指导
2. 揭示受益能力差距的训练数据根因，证明定向数据工程可以有效弥合”更新-受益”脱节
3. 为自进化Agent系统的模型选择和资源分配提供实证依据：投入受益能力训练比投入更新能力训练更高效

可能的影响

1. 范式转变：从”更强的进化器”转向”更好的受益者”，重新定义自进化Agent的训练优先级
2. 数据工程新维度：将Harness构件的使用质量（而非仅任务结果）纳入训练数据质量评估
3. 工程实践指导：为Agent训练中的模型选择提供量化依据——不需要最贵的模型来担任进化器，但需要充分训练模型的受益能力
4. 与电路解释性的桥梁：受益能力的训练数据工程与功能电路保护形成正反馈——更好的受益训练数据→更好的电路保留→更好的受益能力

相关工作

1. Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents (arXiv:2605.30621)

   • 揭示Harness更新能力平坦性与受益能力非单调性的核心论文，为本提案的直接理论支撑

2. Skill Reuse as Compression in Agentic RL (arXiv:2605.31509, ReuseRL)

   • 将MDL原则引入Agent RL的技能复用，提出分割成本正则化与PAC-Bayes泛化界限，为激活感知数据合成提供压缩性约束的理论基础

3. LongTraceRL: Learning Long-Context Reasoning from Search Agent Trajectories with Rubric Rewards (arXiv:2605.31584)

   • 利用搜索Agent轨迹构建分层干扰项和评分准则奖励，为激活感知数据中的高混淆度非目标构件设计提供方法论参考

4. Mechanistic Origins of Catastrophic Forgetting: Why RL Preserves Circuits Better than SFT (arXiv:2605.28860)

   • 揭示RL相比SFT更好地保留功能电路的机制性原因，为受益能力训练中的电路保护校验提供理论依据

5. Harness Engineering / Self-Evolving Agents 系列工作

   • 包括Skill1（arXiv:2605.06130）、SkillOS（arXiv:2605.06614）、Evolving-RL（arXiv:2605.10663）等，为Harness受益能力的训练数据工程提供了技能表示和经验提取的基础设施

结论

HARNESS-BRIDGE 框架将自进化智能体中”更新能力平坦、受益能力非单调”这一经验发现，从单纯的观察性结论提升为可操作的训练数据质量信号。其核心贡献在于：将受益失败分解为激活失败与遵循失败两条独立路径，并为每条路径设计了定向数据合成策略——调用锚定轨迹与压缩性调用约束针对激活端，指令-行为对齐轨迹与长程遵循课程针对遵循端。

与传统的”更强进化器→更好结果”的线性假设相比，该框架揭示了一个更微妙但更具操作性的训练优先级：在自进化系统中，投资受益能力的训练回报远高于投资更新能力的训练回报。这一洞察与 arXiv:2605.30621 的实证发现完全一致——9B 级模型的更新能力已与旗舰级模型相当，但受益能力存在显著差距。

未来的关键验证点包括：（1）双路失败归因的因果验证在规模化场景下的可行性；（2）受益驱动的数据混合策略在不同 Agent 架构（ReAct、Plan-and-Execute、Reflexion 等）上的泛化性；（3）电路保护校验与受益能力训练之间的正反馈循环是否稳定收敛。