面向多组件智能体的组合连贯性训练数据工程：从组合残差诊断到连贯性驱动的轨迹策展

背景与动机

核心问题

多组件LLM智能体（Multi-Component LLM Agents）通过将推理、规划、编码、验证等功能分配给不同组件来处理复杂任务。然而，Kotawala (2026) 在 arXiv:2605.30335 中揭示了一个根本性问题：即使每个组件都是局部概率一致的，它们的组合仍可能违反基本概率公理——即”局部一致、全局不一致”（Locally Coherent, Globally Incoherent）。在1,876个集成团中，33-94%的团出现了组合残差 ε* > 0，且三种直觉性缓解策略（检索、分区感知提示、聚合器LLM）均告失败。

现有方案的不足

当前多组件智能体的训练数据工程存在三个关键盲区：

1. 局部一致性假设的隐性依赖：现有训练数据策展方法（如EvoEnv、SkillGraph、ChipMATE的两阶段训练）均以组件级质量为优化目标，隐式假设组件级一致性可自动保证系统级连贯性——arXiv:2605.30335 证明这一假设不成立。

2. 信用分配的结构性缺失：arXiv:2605.30227 提出多智能体系统中时间-结构双轴信用分配，但仅应用于推理时的提示优化，未扩展到训练数据的策展与合成层面。训练数据中的组合失败信号如何归因到具体组件的数据缺陷，仍是开放问题。

3. 数据组织维度的忽视：arXiv:2605.30334 揭示数据组织（边界锐化、循环调度、课程连续性、局部多样性）对LLM训练效果有显著影响，但现有自进化训练数据流水线（如META-EVOLVE、BES等）完全忽略了数据组织维度，仅关注”生成什么数据”而非”如何组织数据”。

为什么现在重要

• 规模放大效应：随着智能体组件数量增加（如ChipMATE的Verilog+Python双智能体、AUTOSCIENTISTS的去中心化多智能体），组合不连贯性的概率急剧上升
• 训练数据复用放大：自进化训练循环中，组合不连贯的轨迹被反复采样和蒸馏，导致不连贯性在迭代中累积放大
• 验证瓶颈：arXiv:2605.30290（STV）证明验证器是自改进的关键瓶颈，而组合不连贯性恰恰是验证器最难检测的失败模式

核心思路

提出方法：COMPOSE-COHERE 框架

将组合连贯性（Compositional Coherence）建模为一等训练数据质量信号，从数据层面系统性消除多组件智能体的组合不连贯性。

核心观察：arXiv:2605.30335 的组合残差 ε* 是推理时可计算的（从系统输出和跨组件耦合约束中计算），这意味着我们可以在训练数据策展阶段对每条轨迹计算其组合连贯性分数，从而将”全局不一致”这一系统级失败模式转化为数据级可操作信号。

与现有工作的关键区别

技术路线

阶段一：组合残差诊断（Compositional Residual Diagnosis）

目标：将推理时的 ε* 分析扩展至训练轨迹，建立训练数据的组合连贯性画像。

1. 轨迹级组合残差计算：对每条多组件交互轨迹，提取各组件输出的概率声明与跨组件耦合约束，计算 ε*（组合报价到联合一致多面体的 L2 距离）

2. 组件级残差归因：利用 arXiv:2605.30227 的时间-结构双轴信用分配思想，将轨迹级 ε* 分解为各组件的贡献份额：

   • 时间轴：识别交互轮次中哪些轮次贡献了最大的组合残差
   • 结构轴：隔离各组件对组合不连贯性的独立贡献

3. 残差模式聚类：对诊断出的高残差轨迹进行模式聚类，识别组合不连贯性的典型失败模式（如：规划-执行边界不一致、验证-修正循环漂移、多组件状态假设冲突）

阶段二：连贯性驱动策展（Coherence-Driven Curation）

目标：基于诊断结果，从策展和合成两个维度消除训练数据中的组合不连贯性。

1. 连贯性门控采样：

   • 以 ε* 作为采样权重，优先采样组合连贯的轨迹作为正例
   • 对高残差轨迹进行组件级分析：若残差集中于单一组件，保留其他组件数据仅过滤问题组件的对应段
   • 设计连贯性比率门控：确保每个训练批次中组合连贯轨迹的占比不低于动态阈值

2. 连贯性增强合成：

   • 组件耦合约束注入：在合成新轨迹时，显式注入跨组件耦合约束作为合成指导，确保各组件输出的联合一致性
   • 近连贯性对抗合成：对诊断出的高残差失败模式，合成”近连贯”边界案例（ε* 略高于阈值的轨迹），作为对抗性训练数据强化组合连贯性边界
   • 组合一致性自博弈：组件之间进行互验证博弈（受ChipMATE互验证启发），生成器组件尝试产出会引发组合不连贯的输出，验证器组件尝试检测并修正

3. 连贯性感知数据组织：

   • 借鉴 arXiv:2605.30334 的四个数据组织准则，设计连贯性感知的轨迹排序策略：
     • 组合边界锐化：在组件交互边界处强化数据组织边界，避免跨组件数据混淆
     • 耦合强度循环调度：按跨组件耦合强度进行循环调度，从松耦合到紧耦合渐进训练
     • 残差课程连续性：按 ε* 值构建渐进式连贯性课程
     • 失败模式局部多样性：在每个残差模式类别内保持局部多样性

阶段三：组合-能力共进化闭环（Composition-Capability Co-Evolution Loop）

目标：建立组合连贯性与组件能力的共进化机制，实现训练数据质量与系统性能的同步提升。

1. STV锚定的连贯性校准：

   • 利用 arXiv:2605.30290 的自训练验证（STV）思想，训练组合连贯性验证器
   • 将验证器作为校准锚点：当 ε* 诊断与验证器判断出现系统性偏差时触发校准
   • 防止组合残差在自进化循环中漂移（类比内奖励漂移问题）

2. 残差-能力共进化课程：

   • 随着组件能力提升，动态收紧 ε* 阈值
   • 当组件在当前连贯性水平上饱和时，引入更高耦合强度的组合任务
   • 形成”诊断→策展→训练→再诊断”的闭环

3. 乘积结构二分法感知的数据混合：

   • arXiv:2605.30335 的乘积结构二分法指出，在某些条件下局部一致性足以保证全局一致性
   • 利用此理论结果设计数据混合策略：对满足乘积结构条件的组件对，可降低组合连贯性约束的强度，将计算预算集中于不满足条件的组件对

关键技术挑战

1. 轨迹级 ε* 的可扩展计算：组合残差的精确计算需要枚举联合一致多面体，复杂度随组件数指数增长。需要开发近似算法或基于采样的估计方法。

2. 组件级残差归因的唯一性：多组件交互中，残差归因可能不唯一（多个组件对同一残差都有贡献）。需要设计归因不确定性的度量与处理机制。

3. 连贯性与多样性的权衡：过度追求组合连贯性可能导致训练数据多样性坍缩。需要在连贯性门控采样中显式平衡这两个目标。

4. 跨任务组合连贯性的迁移：在一种任务类型上学习到的组合连贯性模式能否迁移到新任务类型，这决定了框架的泛化能力。

预期成果

定量目标

1. 组合残差降低：在多组件智能体基准（如ALFWorld、WebShop、VerilogEval）上，将训练后系统的平均 ε* 降低 40%+（相对于标准训练数据策展）
2. 任务性能提升：在需要多组件协作的任务上，pass@1 提升 8-15%（参照ChipMATE从多智能体训练获得的显著增益）
3. 训练数据效率：达到同等组合连贯性水平所需训练数据量减少 30%+（通过连贯性门控采样和对抗合成提升数据信息密度）
4. 收敛稳定性：在自进化训练循环中，ε* 不再随迭代单调递增（消除不连贯性累积放大效应）

定性目标

1. 可解释的组合失败诊断：提供组件级残差归因报告，精确定位”哪个组件在哪些交互轮次上导致了组合不连贯”
2. 可迁移的组合连贯性知识：在不同多组件系统间共享组合连贯性模式库
3. 理论贡献：建立训练数据的组合连贯性理论框架，形式化”多少组合连贯性是充分的”

可能的影响

1. 方法论层面：首次将组合连贯性从推理时分析提升为训练数据质量的一等信号，为多组件智能体训练数据工程开辟新维度
2. 实践层面：为 ChipMATE、MetaAgent-X 等多智能体框架提供训练数据质量保障工具
3. 理论层面：连接概率一致性理论与训练数据工程，为”多组件系统的数据质量”提供形式化基础

相关工作

1. Kotawala (2026). “Locally Coherent, Globally Incoherent: Bounding Compositional Incoherence in Multi-Component LLM Agents.” arXiv:2605.30335 — 本提案的直接理论基石，形式化了组合残差 ε*，揭示了”局部一致、全局不一致”问题，证明了直觉性缓解策略的失败。本提案将 ε* 从推理时分析工具扩展为训练数据质量信号。

2. Li et al. (2026). “Unifying Temporal and Structural Credit Assignment in LLM-Based Multi-Agent Prompt Optimization.” arXiv:2605.30227 — 提出多智能体系统中时间-结构双轴信用分配机制，利用状态空间瓶颈和稳态角色策略分解误差信号。本提案借鉴其信用分配框架，将其从推理时提示优化扩展至训练数据级组件归因。

3. Dai et al. (2026). “Demystifying Data Organization for Enhanced LLM Training.” arXiv:2605.30334 (ACL 2026) — 系统探索数据组织对LLM训练的影响，提出四个关键准则（边界锐化、循环调度、课程连续性、局部多样性）和STR/SAW排序方法。本提案将数据组织思想引入多组件智能体训练数据工程，设计连贯性感知的数据组织策略。

4. Wu & Raghunathan (2026). “Self-Trained Verification for Training- and Test-Time Self-Improvement.” arXiv:2605.30290 — 提出自训练验证（STV），利用”模型无法独自发现错误但展示参考答案后可以发现”的不对称性训练验证器。本提案借鉴STV思想，训练组合连贯性验证器作为校准锚点，防止组合残差在自进化循环中漂移。

5. Yu et al. (2026). “ChipMATE: Multi-Agent Training via Reinforcement Learning for Enhanced RTL Generation.” arXiv:2605.12857 — 首个自训练多智能体RTL生成框架，通过Verilog+Python双智能体互验证、两阶段训练流水线实现9B模型超越1600B DeepSeek V4。本提案以ChipMATE为典型应用场景，验证组合连贯性训练数据工程在代码生成多智能体系统中的效果。