面向多智能体协同系统的共失效感知训练数据工程：从单模型数据盲区到跨模型共失效区域的定向填充

背景与动机

多智能体协同系统（路由、投票、级联、Mixture-of-Agents）已成为提升 LLM 系统精度的主流工程范式。然而，arXiv:2606.27288（Josef Chen 单作，KAIKAKU，2026-06-25）对 67 个前沿模型的系统性实验揭示了一个根本性理论约束——共失效天花板（Co-Failure Ceiling）：对于任何输出为成员模型之一的策略，其精度上界为 $1 - \beta$，其中 $\beta$ 是所有模型在同一查询上同时出错的概率。该 67 个模型来自 21 家供应商，覆盖 GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro、Grok-4.3、GLM-5.2、Qwen3.7-Max、DeepSeek V4、Kimi K2.7 等 frontier + 中端 + 开源权重小模型全谱。在开放式数学任务上 $\beta = 0.052$，代码执行任务上 $\beta = 0.079$，自由回答形式（将 GPQA-Diamond 由多选改写为自由回答） $\beta = 0.127$（在 $\kappa=0.73$–$0.92$ 的 5 评委专家组共识下，共失效根源被定位在”答案格式”而非”主题”）。更关键的是，该论文证明传统指标——平均成对错误相关性 $\rho$——无法识别 $\beta$：具有相同边际分布和成对相关性的错误律可以对应截然不同的全错率。在 67 模型高斯连接函数下，完整协方差校准后 $\beta$ 仍被单因子模型系统性低估 约 2.5×（$k=17$，90% 置信区间 $1.7$–$3.4$）。

该论文同时给出一个反直觉的工程结论：增益来自模型在不同查询上的失败，而非增加更多模型——“在质量匹配情况下，低 ρ 异质集成优于高 ρ 的 Self-MoA；但在可检查任务上，若无强查询级路由信号，组合模型通常无法超越单一最佳模型”。这意味着多模型协同的边际收益完全取决于训练数据能否在跨模型共享盲区上形成差异化能力。

这一发现对训练数据工程提出了一个全新且尚未被解决的问题：共失效的根源在于训练数据的系统性共享盲区。当 67 个来自不同提供商的模型在同一查询上全部失败时，反映的不是某个模型的能力缺陷，而是整个训练数据生态对特定问题类型的系统性覆盖缺失。然而，现有的训练数据工程范式均以单模型为中心：

1. RODS（arXiv:2606.19047，Fang/Lu/Zhuang/Lin 蚂蚁集团 + 浙大 + 上海创新研究院 + 西湖大学，2026-06-17）利用 GRPO 奖励方差检测单模型能力边界并在线合成数据，从 400 个人工种子出发、维持约 800 样本的活动训练池，以约 20× 更少的轨迹达到与 17K 样本离线管道相当的性能；但无法识别多模型共享的盲区
2. Autodata（arXiv:2606.25996，Kulikov 等 14+ 作者，Meta FAIR，2026-06-25）将数据创建建模为智能体任务并通过元优化提升数据质量；其 CS 任务管线为：从 S2ORC（2022 年后）1 万+ 篇 CS 论文出发，Agentic Self-Instruct 生成 2,800 接受样本，经 Kimi-K2.6 质量验证器过滤后保留 1,300 高质量样本。优化目标仍然是单模型性能
3. SCORE（arXiv:2606.04507，Zhu/Cai/Guo 等 HKUST+港城大，2026-06-04）通过求解器-评估器共进化（共享参数 + 序列交替 KL 正则化）提升深度研究能力，实验在 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 上于 DeepResearchBench/DeepResearchEval 验证；但未考虑多模型协同场景下的系统级精度天花板

核心问题：如何将共失效率 $\beta$ 从一个推理时观测指标，重构为训练时数据质量信号，从而从训练数据层面系统性地降低 $\beta$、提升多智能体系统的精度天花板？

核心思路

提出 CO-FAIL-DATA（Co-Failure-Aware Training Data Engineering）框架，将多模型共失效结构建模为一等训练数据质量信号。核心洞察是：共失效区域 = 训练数据生态系统级盲区的投影。当多个独立训练的模型在同一查询上全部失败时，这不是巧合，而是因为它们共享的训练数据（公开预训练语料、通用 SFT 数据、相似的数据合成流水线）对该问题类型存在系统性覆盖缺失。

与现有工作的关键区别：

维度	现有范式	CO-FAIL-DATA
信号粒度	单模型错误率	多模型共失效率 $\beta$
诊断对象	单模型能力边界	跨模型共享数据盲区
数据策展目标	提升单模型精度	降低系统级 $\beta$，提升 $1-\beta$ 天花板
优化目标	单模型 loss/accuracy	共失效区域覆盖率 + 单模型精度
数据来源	模型自身 rollout	跨模型错误结构分析

框架包含三个阶段：

阶段一：共失效区域诊断。给定 $K$ 个模型的错误矩阵 $E \in \{0,1\}^{K \times N}$（$N$ 为查询数），识别共失效查询集 $\mathcal{Q}_{\text{co-fail}} = \{q_i : \sum_k E_{ki} = K\}$。进一步，将共失效查询聚类为结构性共失效区域 $\{\mathcal{R}_1, \ldots, \mathcal{R}_M\}$，每个区域对应特定的认知能力缺口（如多步约束推理、跨域知识组合、反事实推理等）。

阶段二：盲区驱动的定向数据合成。对每个共失效区域 $\mathcal{R}_m$，分析其共享特征（问题结构、知识需求、推理模式），设计靶向数据合成策略：

• 原理级经验合成：受 arXiv:2606.04703 启发，合成可迁移的原理级解题策略而非具体实例，确保数据具有跨查询泛化能力
• 结构复杂度匹配合成：受 RODS（arXiv:2606.19047）启发，保持与共失效查询相同的结构复杂度（如 API 拓扑、依赖深度、约束数量），但生成可解变体
• 对抗性变体合成：在共失效查询的基础上生成对抗性变体（增加约束、替换领域、反转推理方向），扩展覆盖面

阶段三：$\beta$-感知的闭环校准。将新合成数据注入训练循环，并持续监控 $\beta$ 的变化：

• $\beta$ 梯度估计：量化每个训练数据批次对 $\beta$ 的边际贡献
• $\beta$-精度帕累托优化：在降低 $\beta$ 与提升单模型精度之间寻求帕累托最优
• 共失效-能力共进化闭环：随着模型能力提升，共失效区域动态变化，数据工程策略随之演化

技术路线

Step 1：共失效区域结构化诊断

输入：$K$ 个模型在 $N$ 个查询上的预测结果。

1. 错误矩阵构建：收集 $K$ 个模型对 $N$ 个查询的预测，构建错误矩阵 $E$
2. $\beta$ 的有限样本估计：采用 Clopper-Pearson 区间估计 $\beta$，获得置信下界 $\hat{\beta}_{\text{LB}}$（如 2606.27288 所示，单因子模型系统性地低估 $\beta$ 约 2.5 倍，需要校准）
3. 共失效查询聚类：
   • 特征提取：对共失效查询提取问题嵌入、知识标签、推理结构表示
   • 层次聚类：基于语义相似度和推理模式相似度进行层次聚类
   • 区域画像：对每个聚类生成结构化画像（缺失能力类型、知识域、推理复杂度分布）

关键技术挑战：

• 共失效样本稀疏性：$\beta$ 通常较小（5%-13%），导致共失效查询绝对数量有限，需要有效的少样本聚类
• 错误归因歧义：模型可能因不同原因在相同查询上失败，需要区分”真共失效”（相同根因）和”假共失效”（不同根因的巧合）

Step 2：盲区驱动的定向数据合成

对每个共失效区域 $\mathcal{R}_m$：

1. 根因分析：对共失效查询的模型输出进行错误分析，归类失败模式（知识缺失、推理错误、格式错误等）
2. 原理级策略合成：
   • 从共失效查询中抽象出通用的推理原则（如”多约束组合需先分解再逐一验证”）
   • 将原则实例化为可执行的解题策略
   • 通过教师模型验证策略的可执行性
3. 结构匹配变体合成：
   • 保持与原始共失效查询相同的结构复杂度参数（约束数量、推理深度、工具调用拓扑）
   • 替换具体内容（领域、实体、参数值）
   • 注入结构化变化（增加/减少约束、改变约束间的逻辑关系）
4. 对抗性变体合成：
   • 反事实变体：反转条件或结论
   • 组合变体：合并两个共失效区域的特征
   • 难度升级变体：逐步增加推理复杂度

关键技术挑战：

• 合成数据的正确性验证：对抗性变体往往缺乏 ground truth，需要设计自动验证机制
• 跨域泛化：在特定共失效区域合成的数据是否能覆盖相关但未被观测到的共失效区域
• 合成偏差：合成数据可能引入与真实数据分布的偏差，需要分布校准

Step 3：$\beta$-感知闭环校准

1. $\beta$ 梯度估计：
   • 在验证集上周期性计算 $\beta$
   • 估计每个训练数据批次对 $\beta$ 变化的边际贡献
   • 类似 RODS 的奖励方差边界检测，但作用于系统级 $\beta$ 而非单模型奖励
2. $\beta$-精度帕累托优化：
   • 目标函数：$\max_{\mathcal{D}} \text{Acc}(\mathcal{D}) - \lambda \cdot \beta(\mathcal{D})$
   • $\lambda$ 控制系统级天花板与单模型精度之间的权衡
   • 使用多目标优化（如 NSGA-II）在帕累托前沿上选择数据混合策略
3. 共失效-能力共进化闭环：
   • 每轮训练后更新错误矩阵 $E$
   • 重新计算 $\beta$ 和共失效区域
   • 动态调整数据合成策略和混合权重
   • 当 $\beta$ 降至可接受水平时，转向单模型精度优化

关键技术挑战：

• $\beta$ 估计的计算成本：需要 $K$ 个模型在验证集上推理，对大模型和大数据集计算昂贵
• $\beta$ 梯度的方差：$\beta$ 的变化可能受随机性影响，需要方差缩减技术
• 共进化稳定性：多模型同时更新可能导致 $\beta$ 的非单调变化，需要稳定性保障机制

预期成果

定量目标

1. 共失效率降低：在标准基准（MATH-500、HumanEval+、GPQA-Diamond）上，将跨模型 $\beta$ 降低 30%-50%（如从 0.052 降至 0.026-0.036）
2. 系统精度天花板提升：对应地，多模型系统精度天花板 $1-\beta$ 提升 2-4 个百分点
3. 数据效率：相比均匀数据增强，用 5x 更少的定向合成数据达到相同的 $\beta$ 降低效果
4. 单模型精度保持：在降低 $\beta$ 的同时，单模型精度下降不超过 0.5 个百分点

定性目标

1. 共失效区域图谱：建立首个跨模型共失效区域的结构化分类体系，为后续数据工程提供导航
2. $\beta$ 作为数据质量指标：推动将 $\beta$（而非仅 $\rho$）纳入训练数据质量评估标准
3. 从个体到系统：建立”系统级数据工程”范式，从优化单模型转向优化多模型系统的整体天花板

可能的影响

1. 理论层面：将共失效天花板从推理时约束重构为训练时可操作的优化目标，桥接多模型协同理论与训练数据工程
2. 工程层面：为多智能体系统提供系统级数据质量保障，避免”堆模型”却无法突破精度天花板的工程陷阱
3. 生态层面：揭示当前训练数据生态的系统性盲区，为开源数据集建设和数据共享策略提供指导

相关工作

1. When Does Combining Language Models Help? A Co-Failure Ceiling on Routing, Voting, and Mixture-of-Agents Across 67 Frontier Models（Josef Chen 单作，KAIKAKU，2026-06-25）

   • arXiv: 2606.27288
   • 证明共失效率 $\beta$ 是多模型系统的精度天花板，$\rho$ 无法识别 $\beta$；在来自 21 家供应商的 67 个模型上验证 $\beta$ 被系统性低估约 2.5×（90% CI 1.7-3.4，k=17），并实证”增益来自不同查询上的失败，而非增加更多模型”

2. RODS: Reward-Driven Online Data Synthesis for Multi-Turn Tool-Use Agents（Fang/Lu/Zhuang/Lin，2026）

   • arXiv: 2606.19047
   • 利用 GRPO 奖励方差（Popoviciu 上界）检测能力边界并在线合成数据，从 400 个人工种子 + 800 样本活动池以约 20× 更少轨迹达到 17K 离线管道性能；单模型边界检测思路可扩展为跨模型共失效边界检测

3. Autodata: An Agentic Data Scientist to Create High Quality Synthetic Data（Kulikov 等 14+ 作者，Meta FAIR，2026）

   • arXiv: 2606.25996
   • 将数据创建建模为智能体任务，通过 233 次演化搜索元优化（提示词作为可优化代码）使数据科学家智能体学会创建更高质量数据；CS 任务管线：S2ORC 1万+ → Agentic Self-Instruct 2,800 → Kimi-K2.6 验证器过滤 → 1,300 样本；元优化思路可迁移至共失效区域的定向数据合成

4. SCORE: Self-Evolving Deep Research via Joint Generation and Evaluation（Zhu/Cai/Guo 等，2026）

   • arXiv: 2606.04507
   • 求解器-评估器共进化框架（共享参数 + 序列交替 KL 正则化 + EMA 中心化辅助奖励），通过元 Harness 动态调节评估环境；评估器-求解器共进化思路可迁移至共失效率 $\beta$ 的动态校准

5. Rethinking Continual Experience Internalization for Self-Evolving LLM Agents（Chen/Yang/Fan 等 10 作者，中国人民大学高瓴人工智能学院 + 北航软件学院 + 美团，2026-06-03）

   • arXiv: 2606.04703
   • 揭示多轮迭代经验学习中的渐进能力坍缩（Qwen3-4B-Instruct-2507 + Qwen3-8B 在 WebWalkerQA/GAIA-Text-103/BrowseComp-ZH 上验证），发现原理级经验比实例级经验更持久、逐步注入优于全局注入、离策上下文蒸馏比在策更稳定；为共失效区域的原理级策略合成提供理论支撑