面向自进化智能体训练的数据-策略分布对齐：从分布外合成到分布感知的数据工程

背景与动机

自进化智能体（Self-Evolving Agent）是当前 AI 研究的核心方向之一——从 EvoTrainer 的策略-辅助工具协同进化 [1]，到 MLEvolve 的渐进式搜索与回溯记忆 [2]，再到 GAIS 的协议锚定数据合成 [3]，大量工作正在构建智能体自主改进能力的闭环。然而，一个根本性的张力始终未被充分解决：数据合成的分布与智能体当前策略的分布之间的对齐问题。

具体而言，当前数据工程范式存在三类分布失配：

1. 分布外合成（Out-of-Distribution Synthesis）：GAIS [3] 等框架通过协议锚定（MCP 服务器）约束环境合成，显著提升了数据真实性，但其”接地”是静态的——不随智能体能力演化而调整。当智能体从”不会用工具”进化到”能组合调用工具”时，最初合成的入门级数据已经完全处于策略分布的高密度区，训练信号退化为噪声。相反，未约束的 LLM 合成（如纯 GPT 生成任务）则可能产生远超当前策略能力的任务，导致梯度方向不稳定。

2. 分布漂移积累（Distribution Drift Accumulation）：Q-Evolve [4] 揭示了分布内优化的关键价值——当评论家（critic）的训练数据与策略分布接近时，Bellman 备份更加稳定。但 Q-Evolve 仅将分布内原则应用于评论家学习，未扩展至数据合成环节。随着自进化迭代进行，如果数据合成不随策略移动而调整，数据分布与策略分布之间的差距将逐步积累，最终导致训练崩溃——这类似于 EvoTrainer [1] 观察到的”无效高分分支被错误推广”现象的深层原因。

3. 多源数据混合的静态配比（Static Mixing Ratio）：Q-Evolve 使用专家演示与智能体轨迹的混合数据集训练评论家，但混合比例是固定的。然而，在自进化过程中，智能体对专家数据的需求（用于稳定学习）与对自身数据的需求（用于突破能力前沿）是动态变化的——早期需要更多专家数据建立基础能力，后期需要更多自身数据探索前沿。静态配比无法适应这种动态需求。

这三类分布失配的本质是同一个问题：数据工程缺少对智能体当前能力分布的显式建模与动态适配。现有工作要么忽略分布对齐（无约束 LLM 合成），要么使用静态接地（GAIS 的协议锚定），要么仅限于评论家学习（Q-Evolve），没有将分布对齐作为数据工程的一等设计原则。

核心思路

我们提出 DISTAL（DISTribution-ALigned data engineering）框架，将分布内优化原则从 Q-Evolve 的评论家学习扩展至数据工程全流程。核心思想是：训练数据的合成与策展应以智能体当前能力分布为锚点，确保数据始终处于”可学习区域”——与当前分布足够接近以保障梯度稳定性，又足够新颖以驱动能力进化。

DISTAL 与现有工作的关键区别在于：

维度	GAIS [3]	Q-Evolve [4]	EvoTrainer [1]	DISTAL
分布建模	无（静态协议锚定）	隐式（混合数据集）	隐式（诊断信号）	显式（能力分布轮廓）
数据合成约束	协议接地	无	无	分布接地
适应性	无	静态混合比	诊断驱动	分布感知动态调整
合成-策略对齐	无	仅评论家	仅辅助工具	全流程

DISTAL 的核心机制由三个相互耦合的模块组成：

1. 能力分布轮廓建模（Capability Distribution Profiling, CDP）：不仅建模能力前沿（最难的通过任务），而是刻画完整的能力分布——包括高密度区（已掌握）、过渡区（部分掌握）和空白区（完全不会）。CDP 使用轻量级分布内评论家在策略轨迹上训练，并显式估计每个能力区域的密度与梯度可利用性。

2. 分布接地数据合成（Distribution-Grounded Synthesis, DGS）：在 CDP 的约束下，将数据合成问题形式化为”在可学习区域内最大化信息增益”的优化问题。DGS 不是无约束地生成任务，而是在 CDP 定义的能力空间中采样合成目标，确保合成数据既不退化为已掌握区域的重复，也不跃迁至不可学习的远端。

3. 策略-数据分布共进化（Policy-Data Distribution Co-Evolution, PDDC）：当策略进化导致 CDP 偏移时，DGS 的合成目标随之调整，形成策略驱动数据分布更新、数据驱动策略进化的双向闭环。PDDC 通过分布距离度量的约束防止数据分布相对策略”跑太快”或”落后太多”。

技术路线

第一阶段：能力分布轮廓建模（CDP）

输入：当前策略 π_θ 在环境 E 中的 rollout 轨迹集合 D_rollout，专家演示 D_expert

步骤 1.1：多维能力表征提取

• 对每条轨迹提取能力表征向量 c ∈ R^d，涵盖：任务难度维度（pass rate 估计、步骤复杂度）、工具使用维度（调用序列模式、组合深度）、推理质量维度（步骤级正确率、推理链连贯性）
• 借鉴 DataCOPE [5] 的无监督验证器思想，使用轨迹间一致性（trajectory agreement）作为能力表征的辅助信号，避免依赖人工标注

步骤 1.2：能力分布密度估计

• 在能力表征空间上训练核密度估计器（KDE）或归一化流（Normalizing Flow），得到策略当前的能力分布 p_π(c)
• 同时估计专家能力分布 p_expert(c)，两者之间的差距即”可学习区域”
• 关键约束：密度估计器必须在策略 rollout 数据上训练（分布内），而非在合成数据上训练

步骤 1.3：可学习性梯度场构建

• 在能力空间中定义可学习性函数 L(c) = ∇θ J(π_θ) |{c} 的范数估计，表征在该能力点上的训练信号强度
• 可学习性高的区域构成”可学习区域” L = {c : L(c) > τ}，其中 τ 为动态阈值
• 可学习性估计使用 Q-Evolve 的加权 IQL 评论家进行优势估计，确保分布内稳定

关键技术挑战：

• 高维能力空间的密度估计精度与计算效率的权衡
• 可学习性梯度场的噪声鲁棒估计（需要多次 rollout 平均）
• 能力表征的选择对下游数据合成的影响

第二阶段：分布接地数据合成（DGS）

输入：CDP 输出的能力分布 p_π(c) 和可学习区域 L

步骤 2.1：分布约束合成目标采样

• 在可学习区域 L 内采样合成目标 c* ~ p_target(c)，其中 p_target 是 p_π(c) 的”前移分布”：p_target(c) ∝ p_π(c) · exp(β · δ(c))，δ(c) 是 c 相对当前分布的”前移距离”，β 控制探索-利用平衡
• 前移分布确保合成目标总是略超出当前分布，但不跃迁至远端

步骤 2.2：协议锚定+分布锚定双重约束合成

• 借鉴 GAIS 的协议锚定思想，使用真实 MCP 服务器提供功能接地
• 在协议锚定的基础上，增加分布锚定约束：合成任务的可学习性必须落在 L 内
• 具体实现：在 GAIS 的结构引导规划（structure-guided planning）中注入分布约束——计划树的搜索优先选择落入可学习区域的分支

步骤 2.3：分布内验证与过滤

• 对合成数据使用 CDP 的评论家评估其”分布内程度”：d_in = p_π(c_synthesis) / max_c p_π(c)
• 过滤掉分布外数据（d_in < τ_out）和分布退化数据（d_in > τ_in，即过于简单的数据）
• 保留”金发姑娘区域”（Goldilocks Zone）的数据：τ_out < d_in < τ_in

关键技术挑战：

• 如何在协议锚定和分布锚定之间实现有效平衡
• 前移分布的 β 参数如何随训练进度自适应调整
• 合成数据的多样性如何在分布约束下保持

第三阶段：策略-数据分布共进化（PDDC）

步骤 3.1：分布漂移监测

• 在每次策略更新后，重新估计 p_π(c)，计算与上一轮的分布距离 D_KL(p_π^{new} || p_π^{old})
• 当分布漂移超过阈值 Δ_max 时，触发 CDP 重训练和 DGS 重校准
• 借鉴 EvoTrainer 的诊断回测（backtest）机制，验证分布漂移是否为”有效进化”而非”随机漂移”

步骤 3.2：动态混合比调整

• 根据 p_π 与 p_expert 的重叠度动态调整专家数据与合成数据的混合比 α
• 重叠度高（初期）→ α 偏向专家数据（稳定学习）
• 重叠度低（后期）→ α 偏向合成数据（探索前沿）
• 混合比调整遵循渐进约束：|α_{t+1} - α_t| < Δα_max，防止突变

步骤 3.3：回溯记忆与策略沉淀

• 借鉴 MLEvolve 的回溯记忆机制，维护”策略-数据配对历史”：哪些数据分布对哪些策略改进有效
• 当策略出现退化时，回溯至最近的有效数据分布，避免灾难性遗忘
• 使用分布距离而非简单指标追踪，确保回溯的粒度足够细

关键技术挑战：

• CDP 重训练的计算开销控制（不能每次策略更新都全量重训）
• 分布漂移的”有效进化”与”随机漂移”的区分
• 回溯记忆的容量与检索效率

预期成果

定量目标：

1. 在 AlfWorld、WebShop、ScienceWorld 三个标准智能体基准上，相比 Q-Evolve 基线，任务完成率提升 8-15%，样本效率提升 20%+
2. 在长周期 SWE 基准（如 SWE-bench）上，相比 EvoTrainer 基线，在相同计算预算下 pass@k 提升 10%+
3. 分布漂移监测的假阳性率 < 5%（有效进化被误判为漂移），假阴性率 < 10%（真实退化未被检测）
4. 相比 GAIS 静态接地方法，在 5 轮自进化迭代后，数据利用率（每条合成数据带来的策略改进量）提升 2x+

定性目标：

1. 揭示”可学习区域”的几何结构——在能力空间中，策略改进最有效的数据分布是否具有特定的拓扑特征（如集中在分布边界、或集中在低密度过渡区）
2. 验证分布约束合成是否自然解决”奖励劫持”问题——分布内约束是否隐式排除了导致虚假高奖励但分布外的工作流
3. 建立策略-数据分布共进化的理论条件——在什么条件下双向共进化是稳定的（不发散、不坍缩）

可能的影响：

1. 方法论层面：将分布内优化从策略学习/评论家学习的局部原则提升为数据工程的全局设计原则，为自进化智能体的训练稳定性提供系统性保障
2. 工程层面：提供一种自动化的数据合成配比调整机制，减少人工数据配方调优的成本
3. 理论层面：为理解自进化系统中策略与数据的共动力学（co-dynamics）提供形式化工具，连接强化学习理论与数据工程实践

相关工作

1. Q-Evolve: Self-evolving LLM agents with in-distribution Optimization arXiv:2606.07367 — 提出分布内强化学习范式用于智能体自进化，通过加权 IQL 训练分布内评论家，实现自动过程奖励标注与策略学习的统一。DISTAL 将其分布内原则从评论家学习扩展至数据工程全流程。

2. GAIS: Scaling Agentic Capabilities via Grounded Interaction Synthesis arXiv:2606.02001 — 提出协议锚定的智能体交互合成框架，使用 MCP 服务器作为环境接地确保功能多样性。DISTAL 在协议锚定基础上增加分布锚定，使数据合成随策略演化而动态调整。

3. EvoTrainer: Co-Evolving LLM Policies and Training Harnesses arXiv:2606.03108 — 提出策略-辅助工具协同进化框架，通过 rollout 级诊断驱动辅助工具演化。DISTAL 将协同进化从”策略-辅助工具”对扩展至”策略-数据分布”对，并增加显式分布建模作为演化约束。

4. MLEvolve: A Self-Evolving Framework for Automated ML Algorithm Discovery arXiv:2606.06473 — 提出渐进式 MCGS 搜索与回溯记忆的自进化框架，用于 ML 算法发现。DISTAL 借鉴其回溯记忆机制和渐进式搜索策略，将其应用于数据合成策略的发现与沉淀。

5. DataCOPE: Unsupervised Skill Discovery for Agentic Data Analysis arXiv:2606.06416 — 提出无监督验证器引导的技能发现框架，使用轨迹一致性和覆盖度作为质量信号。DISTAL 借鉴其无监督验证思想，将轨迹一致性信号用于能力分布建模，避免依赖人工标注的能力评估。

局限性与开放问题

尽管 DISTAL 提供了从分布对齐视角统一数据工程全流程的框架，仍存在若干重要的开放问题：

1. CDP 的建模精度与计算开销权衡：核密度估计在高维能力空间中面临维度灾难，而归一化流虽然更灵活但训练成本显著。对于自进化系统中常见的稀疏 rollout 场景，如何在有限样本下保证分布估计的可靠性，仍需系统性研究。

2. 可学习性阈值 τ 的自适应设定：本文假设 τ 可通过动态调整实现，但未给出具体的自适应机制。阈值过高会导致可学习区域过窄、数据多样性不足；过低则会纳入分布外噪声。τ 的设定本质上需要与策略进化速度耦合，这是 PDDC 模块的核心调参挑战。

3. 前移分布的探索-利用平衡：β 参数控制合成目标相对当前分布的”前推”程度，但 β 的最优调度策略尚不明确。在训练初期，策略分布变化剧烈，过大的 β 可能导致合成数据与策略快速脱节；在训练后期，过小的 β 又会使数据退化。需要研究 β 与分布漂移速度 D_KL 之间的理论关系。

4. 多源分布的复合建模：当智能体需要同时具备多种异质能力（如代码生成、工具调用、长链推理）时，能力分布可能是多峰的。单峰分布假设下的 KDE/Normalizing Flow 难以捕捉多峰结构，可能需要混合模型或分层分布建模。

5. 回溯记忆的可扩展性：随着自进化迭代增加，策略-数据配对历史将持续增长。基于分布距离的回溯检索在高维空间中的计算复杂度不可忽视，需要研究近似检索或记忆压缩策略。