面向自进化智能体评估-数据复合漂移的诊断与断路训练数据工程

背景与动机

自进化智能体（Self-Evolving Agents）正成为 LLM 后训练的核心范式：智能体通过创建、修订和淘汰自身技能或 harness 来持续提升能力。然而，这一闭环系统的核心前提——评估信号的可靠性——正面临根本性挑战。

近期三篇工作从不同角度揭示了评估信号的问题：

1. Reward-Free Evolving Agents（arXiv:2607.14408）指出设计可靠标量奖励是自进化循环中最昂贵的部分，提出用冻结 LLM 的两两比较（pairwise validator）替代标量奖励。但 pairwise validator 本身是 LLM，其判断偏差会随迭代积累。

2. Who Grades the Grader?（arXiv:2607.12790）揭示自进化系统隐含假设”可靠评估指标已存在”，提出 Double Ratchet 共进化框架，但仍依赖少量锚点样本（ten-item anchor，10 项）作为安全守卫，且实验表明”移除锚点守卫会使指标塌缩成空洞的恒通过检测器”（vacuous always-pass detector，Table 2）。

3. GSME（arXiv:2607.13683）通过确定性代码将”提出变更”与”认定贡献”解耦，但确定性测试本身基于的评估景观也在随系统演化而偏移。

核心问题：上述工作各自解决了评估信号的一个维度，但均未建模评估-数据复合漂移（Evaluation-Data Compounding Drift）——当自进化智能体使用自身评估信号策展训练数据时，评估误差通过”数据→模型→评估”循环逐迭代放大，形成复合漂移。这种漂移可能导致评估-数据逃逸（Evaluation-Data Runaway）：智能体系统在自身指标上表现为持续改进，但相对于真实质量标准实际在退化。

Closed-Loop Knowledge Dynamics（arXiv:2607.14185）为这一现象提供了理论语言：闭环知识系统会趋向饱和吸引子（saturation attractors），而逃逸需要外部结构干预（structural intervention）改变转移核。但该框架关注的是知识状态本身的动力学，未将其映射至训练数据质量维度。

为什么现有方案不够好：

• 锚点守卫（Who Grades the Grader?）是静态防御，无法检测渐进漂移
• 确定性信用（GSME）假设评估景观稳定，忽略了景观本身的时变性
• Pairwise validator（Reward-Free）消除了标量校准需求，但引入了 validator 的系统性偏好漂移
• 这些方法均未量化评估误差如何通过训练数据策展环节放大——即复合漂移的增益系数

核心思路

提出 COMPOUND-GUARD 框架——面向自进化智能体评估-数据复合漂移的诊断与断路训练数据工程。

核心建模：将自进化智能体的评估-数据循环形式化为离散时间动力系统。在第 $t$ 轮迭代中，评估器 $E_t$ 对训练数据集 $D_t$ 进行质量评分，策展模块根据评分筛选/合成 $D_{t+1}$，模型在 $D_{t+1}$ 上训练后，其行为变化又更新评估器至 $E_{t+1}$。定义复合漂移增益（Compounding Drift Gain, CDG）为评估误差 $\epsilon_t$ 经一轮循环后的放大倍数：$\epsilon_{t+1} = \text{CDG} \cdot \epsilon_t$。当 CDG > 1 时系统处于漂移放大区，当 CDG < 1 时系统自稳定。

与现有工作的关键区别：

1. vs. Who Grades the Grader?：后者的 Double Ratchet 是”指标-技能”双螺旋共进化，我们建模的是”评估-数据”单向耦合中的漂移放大，并引入 CDG 作为漂移临界指标
2. vs. GSME：后者通过确定性代码保证信用可信，我们承认评估景观本身时变，设计的是景观时变下的动态可信边界
3. vs. Reward-Free：后者用 pairwise 消除标量需求，我们关注 pairwise 偏好漂移的复合效应
4. vs. Closed-Loop Knowledge Dynamics：后者的 Lyapunov 稳定性分析针对知识状态 $x_t$，我们将稳定性分析映射至训练数据质量维度，并设计操作性断路器

技术路线

阶段一：复合漂移动力学诊断

1.1 评估-数据循环形式化

将自进化循环分解为四个可独立观测的映射：

• $\mathcal{E}: D \to \mathbb{R}^n$（评估器映射：数据→质量评分向量）
• $\mathcal{C}: (D, \mathcal{E}(D)) \to D'$（策展映射：根据评分筛选/合成新数据）
• $\mathcal{T}: D' \to \theta'$（训练映射：在策展数据上更新模型参数）
• $\mathcal{U}: \theta' \to E'$（评估器更新映射：模型变化导致评估器行为偏移）

复合漂移增益 CDG 定义为： $\text{CDG} = \left\|\frac{\partial \mathcal{E}_{t+1}}{\partial \mathcal{E}_t}\right\|_{\text{op}} = \left\|\frac{\partial \mathcal{U}}{\partial \theta'} \cdot \frac{\partial \mathcal{T}}{\partial D'} \cdot \frac{\partial \mathcal{C}}{\partial \mathcal{E}} \cdot \frac{\partial \mathcal{E}_{t+1}}{\partial \mathcal{E}_t}\right\|$

1.2 三类复合漂移模式诊断

借鉴 Closed-Loop Knowledge Dynamics 的吸引子-逃逸框架，识别三类复合漂移退化模式：

1.3 诊断信号设计

• 锚点漂移率（Anchor Drift Rate, ADR）：在冻结的外部锚点集上追踪评估器评分的变化率
• 区分度衰减（Discrimination Decay, DD）：评估器在已知质量差异样本对上的评分间距衰减速度
• 偏好-质量背离度（Preference-Quality Divergence, PQD）：评估器内部一致性 vs. 评估器与外部真质信号的相关性之间的差距

阶段二：漂移断路器设计

2.1 断路器触发条件

借鉴电气工程中熔断器的思想，设计三级断路器：

• 黄色预警（CDG > 0.8）：评估-数据循环接近漂移放大区，启动增强监控
• 橙色警告（CDG > 1.0 或 ADR > 阈值）：系统已进入漂移放大区，触发数据策展策略切换
• 红色断路（CDG > 1.5 或锚点侵蚀超过安全边界）：系统处于逃逸风险中，暂停自进化循环，启动外部校准

2.2 CDG 在线估计

CDG 的精确计算需要评估器的雅可比矩阵，实践中使用代理指标：

• 代理 1：交叉评估一致性（Cross-Evaluator Consistency）：用独立冻结的参考评估器与当前评估器做 pairwise 一致性检验，不一致率的变化率近似 CDG
• 代理 2：锚点集漂移速度：在预留的锚点集上追踪评估器评分变化，评分漂移速度与 CDG 正相关
• 代理 3：回放检测（Replay Detection）：在早期迭代的高质量数据子集上重跑当前评估器，评分变化反映漂移幅度

2.3 自适应策展策略

根据断路器级别切换策展策略：

阶段三：锚定校准与反向漂移修复

3.1 锚点集动态维护

• 初始锚点集由领域专家标注（10-50 项高质量样本，参考 Who Grades the Grader? 的设计）
• 每轮迭代后，在锚点集上计算评估器偏差向量 $\delta_t = \mathcal{E}_t(A) - \mathcal{E}_0(A)$
• 当 $\|\delta_t\|$ 超过安全边界时触发锚点校准：用 $\delta_t$ 修正评估器输出

3.2 反向漂移修复

当检测到复合漂移已导致训练数据质量退化时：

1. 回溯识别：在漂移起始迭代 $t^*$ 之后的训练数据上标记”漂移污染”
2. 质量重评估：用校准后的评估器重评污染数据，计算有效质量分数
3. 定向替换：将低于阈值的污染数据替换为锚点校准后策展的新数据
4. 验证闭环：在冻结测试集上验证修复后模型的实际性能恢复

3.3 评估-数据-断路器共进化闭环

将断路器阈值本身纳入共进化：

• 断路器阈值根据历史 CDG 分布自适应调整
• 锚点集根据当前策略的能力前沿动态扩展
• 整体系统在”自由进化→漂移检测→断路校准→恢复进化”的节奏中运行

关键技术挑战

1. CDG 在线估计的精度-效率权衡：精确计算 CDG 需要评估器雅可比矩阵，实践中需要高效的代理指标
2. 锚点集的代表性保障：少量锚点（10 项）能否充分约束评估器在整个数据分布上的漂移？需要理论边界分析
3. 断路器阈值的自适应：阈值过低导致频繁断路（进化停滞），过高导致保护不足（漂移逃逸）
4. 反向漂移修复的计算成本：回溯重评和定向替换可能需要重新训练，需要设计增量修复策略

预期成果

定量目标

1. 复合漂移增益 CDG 的估计误差 < 15%：通过代理指标在线估计 CDG，与离线精确计算值的偏差控制在 15% 以内
2. 断路器误报率 < 10%：在 CDG < 0.8 时错误触发断路的概率低于 10%
3. 训练数据质量保持率 > 90%：经过 20 轮自进化迭代后，训练数据的锚点校准质量分数相比初始轮次保持 > 90%
4. 最终模型性能：在代码生成（MBPP+ / HumanEval+）和智能体任务（BFCL-V4 / τ²-Bench）上，COMPOUND-GUARD 保护的进化系统比无保护基线提升 5-10%，比 Who Grades the Grader? 的 Double Ratchet 再提升 2-5%

定性目标

1. 建立评估-数据复合漂移的形式化理论，为自进化智能体的数据质量保障提供分析工具
2. 设计漂移断路器作为自进化系统的安全基础设施，可即插即用地集成到现有自进化框架（GEPA / ADRS / ShinkaEvolve / Double Ratchet / GSME）中
3. 揭示三类复合漂移退化模式（锚点侵蚀/景观坍缩/偏好寄生）的演化规律，为后续研究提供诊断基准

可能的影响

1. 方法论层面：将电气工程中的熔断器/断路器概念引入自进化智能体训练数据工程，为”开放式自进化”提供安全保障机制
2. 理论层面：将 Closed-Loop Knowledge Dynamics 的 Lyapunov 稳定性分析映射至训练数据质量维度，建立评估-数据复合漂移的形式化理论
3. 实践层面：为工业级自进化智能体系统（如 AReaL 2.0、NexForge 等大规模部署）提供可操作的数据质量保障方案

相关工作

1. Who Grades the Grader? Co-Evolving Evaluation Metrics and Skills for Self-Improving LLM Agents（arXiv:2607.12790）—— 提出评估指标-技能共进化的 Double Ratchet 框架，揭示锚点守卫的关键作用。本工作在其基础上建模评估-数据复合漂移动力学，将静态锚点守卫升级为动态断路器机制。

2. Reward-Free Evolving Agents via Pairwise Validator（arXiv:2607.14408）—— 用冻结 LLM 的 pairwise 判断替代标量奖励，降低评估设计成本。本工作关注 pairwise validator 的系统性偏好漂移如何通过训练数据策展环节复合放大，设计偏好寄生检测与修复机制。

3. Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity（arXiv:2607.13683；作者已在后续版本改题为 HarnessBank: Semantic Gene-Bank Search with Gated Verification for Agent-Harness Self-Evolution，按现题检索才能在 arXiv 上找到）—— 通过确定性代码将提出变更与认定贡献解耦，以 GSME 归档实现抗过拟合。本工作指出确定性测试基于的评估景观本身是时变的，设计景观时变下的动态可信边界。

4. Closed-Loop Knowledge Dynamics: An Operational Framework for Saturation and Escape（arXiv:2607.14185）—— 提出闭环知识系统的 Lyapunov 稳定性与逃逸条件理论框架。本工作将其稳定性分析映射至训练数据质量维度，并设计操作性的漂移断路器。

5. NexForge: Scaling Agent Capabilities through Requirement-Driven Task Synthesis（arXiv:2607.14186）—— 需求驱动的智能体任务合成框架，合成质量依赖于评估信号进行轨迹筛选。本工作为 NexForge 等大规模合成管线提供评估-数据质量保障，防止合成数据在迭代扩展中的漂移退化。