研究提案已修订

面向多智能体代码生成的编排感知训练数据工程：从个体轨迹到协作编排的数据质量保证

提出 ORCH-DATA 框架，将多智能体代码生成中的编排决策显式建模为一等训练数据对象，通过编排模式挖掘、反事实编排增强和编排-能力共进化课程解决多智能体协作训练数据质量瓶颈

2026年5月6日多智能体编排代码生成训练数据工程强化学习编排轨迹课程学习信用分配

背景与动机

大语言模型（LLM）智能体正从独立的工具使用者演化为协作团队。在代码生成领域，MARS²（2604.14564）等工作已证明多智能体协作在树搜索中能显著提升代码生成质量；SSDE（2605.02455）指出结构化规约能大幅改善仓库级代码生成质量；RECRL（2605.00433）则表明需求感知的课程学习可有效提升单智能体代码生成性能。

然而，当前多智能体代码生成训练面临一个被忽视的核心瓶颈：训练数据仅关注个体轨迹质量，而忽略了编排决策质量。Zhang（2605.02801）在对 84 篇文献的系统分析中识别出编排轨迹（Orchestration Traces）的五个子决策——何时生成（spawn）、委派给谁（delegate）、如何通信（communicate）、如何聚合（aggregate）、何时停止（stop）——并发现截至 2026 年 5 月，尚无显式的 RL 训练方法处理停止决策，且消息级反事实信用分配在现有文献中极其稀疏。

这意味着当前多智能体代码生成的训练数据存在三类系统性缺陷：

编排模式缺失：训练数据不区分”好的编排”与”坏的编排”——两个智能体可能各自生成了高质量代码，但委派时机错误导致最终集成失败，此类数据却以相同的正面标签被用于训练。
反事实编排空白：不存在”如果在不同时机委派/聚合，结果会如何”的反事实数据，导致智能体无法学习编排决策的因果效应。
编排-能力解耦：课程学习（如 RECRL）仅基于个体需求难度感知，忽略了编排难度（如多智能体间的依赖复杂度、通信开销）应与智能体能力共进化。

核心思路

我们提出 ORCH-DATA（ORCHestration-Aware DATA Engineering）框架，将多智能体代码生成中的编排决策显式建模为一等训练数据对象，核心主张为：多智能体代码生成的训练数据质量应由”个体轨迹质量”和”编排决策质量”两个正交维度共同定义。

ORCH-DATA 包含三个核心组件：

编排模式挖掘器（Orchestration Pattern Miner）：从多智能体代码生成轨迹中提取可复用的编排模式（如”顺序委派-并行执行-层次聚合”），定义编排质量度量（并行加速率、分割正确性、聚合质量），识别高价值编排模式与反模式。
反事实编排增强器（Counterfactual Orchestration Augmenter）：对已有轨迹进行编排层干预——改变委派时机、替换聚合策略、插入通信检查点——生成反事实编排轨迹，通过结果对比建立编排决策的因果信号。
编排-能力共进化课程（Orchestration-Capability Co-evolution Curriculum）：扩展 RECRL 的需求难度感知，增加编排难度维度（智能体间依赖复杂度、通信轮次、聚合不确定性），实现需求难度与编排难度的联合课程调度。

与现有工作的关键区别：

维度	现有工作	ORCH-DATA
训练数据对象	个体轨迹（单智能体视角）	编排增强轨迹（团队视角）
信用分配粒度	轨迹级/步骤级（PORTool）	编排事件级（spawn/delegate/communicate/aggregate/stop）
数据增强方式	环境扰动（CoVERT）、问题合成（FrontierSynth）	编排层反事实干预
课程维度	需求难度（RECRL）	需求难度 × 编排难度

技术路线

第一阶段：编排轨迹形式化与模式挖掘

编排轨迹表示：基于 Zhang（2605.02801）的编排轨迹形式化，定义多智能体代码生成的编排事件类型体系：
- SPAWN(task_split, agent_assignment)：任务分解与智能体分配
- DELEGATE(from, to, context_package)：上下文传递与委派
- COMMUNICATE(sender, receiver, message_type, content)：智能体间通信
- AGGREGATE(strategy, merge_points)：部分结果聚合
- STOP(termination_condition, final_state)：终止决策
编排质量度量：定义三维编排质量函数 Q(o) = (Q_parallel, Q_split, Q_aggregate)：
- Q_parallel：并行加速率 = T_sequential / T_actual
- Q_split：分割正确性 = 子任务独立可解率 × 子任务完备率
- Q_aggregate：聚合质量 = 集成后代码 Pass@1 / max(子方案 Pass@1)
模式挖掘算法：使用频繁子图挖掘从编排轨迹图中提取可复用的编排模式，聚类为”模式家族”，标注每个模式的质量分数和适用条件。

第二阶段：反事实编排增强

编排干预算子：设计五类编排干预算子：
- 时机干预：延迟/提前委派决策
- 替换干预：更换聚合策略（如从顺序聚合改为并行聚合）
- 通信干预：增加/删除通信检查点
- 分配干预：改变智能体-子任务匹配
- 终止干预：提前/延后停止决策
反事实轨迹生成：对每条原始轨迹，应用干预算子生成 k 条反事实轨迹，在同一执行环境中运行，收集结果差异作为编排决策的因果信号。
因果信号提取：对反事实轨迹对 (o, o’)，计算 ΔQ = Q(o’) - Q(o)，将 ΔQ 分配到被干预的编排事件上，形成编排事件级因果信用。

第三阶段：编排-能力共进化课程

编排难度定义：基于编排轨迹的图结构特征，定义编排难度函数：
- D_orch(G) = α·depth(G) + β·branching(G) + γ·cross_dep(G) + δ·comm_overhead(G)
- 其中 depth 为任务分解深度，branching 为并行分支数，cross_dep 为跨智能体依赖数，comm_overhead 为通信轮次
联合课程调度：将需求难度（D_req，来自 RECRL）和编排难度（D_orch）组合为联合难度 D = f(D_req, D_orch)，实现：
- 阶段一（热身）：低 D_req + 低 D_orch 的简单并行任务
- 阶段二（个体强化）：高 D_req + 低 D_orch 的复杂但独立任务
- 阶段三（编排强化）：低 D_req + 高 D_orch 的简单但强依赖任务
- 阶段四（综合挑战）：高 D_req + 高 D_orch 的真实仓库级任务
自适应编排课程：根据智能体在当前编排模式上的通过率动态调整训练数据中各编排模式的采样权重。

第四阶段：训练与评估

训练目标：在标准策略优化目标基础上，增加编排事件级因果信用作为辅助奖励：
- L = L_policy(trajectory_reward) + λ·L_orch(orchestration_causal_credit)
评估体系：
- 代码生成质量：Pass@1、Pass@5 在 HumanEval+、MBPP+、LiveCodeBench 上
- 编排质量：Q_parallel、Q_split、Q_aggregate
- 编排效率：Token 效率（输出代码质量 / 总 Token 消耗）、智能体利用率
- 泛化能力：在未见过的仓库级代码生成任务上的零样本表现

关键技术挑战

编排因果识别：反事实轨迹中，编排干预的效果可能被其他随机因素掩盖，需要足够大的反事实样本量和方差控制策略。
编排模式泛化：从训练数据中挖掘的编排模式是否可泛化到不同规模/类型的代码生成任务，需要跨领域验证。
编排-需求耦合：需求难度和编排难度可能非线性耦合，联合课程的最优调度需要大量实验搜索。
计算成本：反事实轨迹生成需多次执行完整的多智能体代码生成流程，计算开销显著，需设计高效的干预选择策略。

预期成果

定量目标

在 LiveCodeBench 上，相比单智能体 RL 基线（如 RECRL），Pass@1 提升 3%-8%
在仓库级代码生成（如 SWE-bench Lite）上，相比 MARS² 基线，解决率提升 2%-5%
编排质量 Q_parallel 提升 15%-25%（同等代码质量下减少智能体间通信轮次）
Token 效率（代码质量 / 总 Token 消耗）提升 10%-20%

定性目标

建立多智能体代码生成的编排数据工程方法论，填补 Zhang（2605.02801）识别的编排训练数据空白
产出可复用的编排模式库和反事实编排轨迹数据集
为多智能体系统的编排决策提供可解释的因果分析框架

可能的影响

ORCH-DATA 不仅适用于代码生成，其”编排感知数据工程”的核心思想可推广到任何多智能体协作场景——科学发现、工具增强推理、分布式任务求解。当前工业界（Kimi Agent Swarm、OpenAI Codex、Anthropic Claude Code）已在生产中大规模部署多智能体编排，但学术界的训练数据方法仍停留在单智能体轨迹级别。ORCH-DATA 旨在弥合这一鸿沟，为多智能体 AI 系统的训练数据工程提供从”个体轨迹”到”协作编排”的范式升级。