研究提案 已修订

研究提案：多 Agent 对抗式合成数据工厂——用竞争-协作动态解决多样性崩溃与质量控制的联合优化问题

当前合成数据生成面临两个互相矛盾的约束：提高多样性会降低质量，强化质量控制会收窄分布。本提案借鉴 Anthropic AAR 的多 Agent 研究范式和 GAN 的对抗训练思想，设计一个多角色 Agent 数据工厂，让 Generator、Critic、Diversifier 三类 Agent 在竞争-协作循环中自主演化生成策略，目标是在千万级规模下同时将语义去重率降至 1% 以下、下游任务增益提升 15-25%。

synthetic-data multi-agent adversarial-generation diversity quality-control data-factory scaling

触发动机

三条信息线在今天交汇，指向一个尚未被系统化提出的方向。

第一条：Anthropic 的自动化对齐研究者（AAR）实验（2026-04-14）。 9 个 LLM 实例被赋予略有不同的模糊起始方向，5 天内将弱到强监督的 PGR 从人类基线 0.23 推至 0.97。两个反直觉发现值得特别关注：(1) 多样化起点极其重要——统一起点时 Agent 趋同于相似想法；(2) 过度结构化有害——自由发挥优于精心设计的工作流。这个发现的数据工程含义几乎没有人讨论过：如果把”做对齐研究”替换为”生成训练数据”，多样化起点和自由度同样是关键变量。

第二条：合成数据的两个新进展揭示了核心矛盾。 OptimSyn（arXiv:2604.00536）用 RL + 影响力估计自动调优评分标准，实现了质量的精确控制。DCE（arXiv:2604.07147）用三层防线将跨批次模式崩溃率降至 0.0%。但两者各自解决一半问题——OptimSyn 优化质量但不管多样性，DCE 保证多样性但不管下游效用。当你同时施加两个约束时，它们会互相冲突：更严格的质量评分倾向于收窄分布（因为”安全”的生成模式得分更高），而更激进的多样性注入会降低平均质量。

第三条：Stanford 的 DPG 方法（arXiv:2604.08423）证明合成数据可以成为精确的模型行为控制手段。 但 DPG 是单一生成器 + 单一目标的范式。当目标是多维的（同时需要推理能力、指令遵循、事实准确性），单一生成器的帕累托前沿优化变得极其困难。

三者交叉的洞察：多样性和质量不应该由同一个 Agent 负责。需要一个类似 GAN 但更丰富的多角色系统——多个生成者竞争、多个评判者从不同维度把关、一个协调者管理整体分布——在竞争-协作的动态博弈中同时逼近多样性和质量的帕累托最优。

战略判断：为什么现在做

行业趋势

  1. 合成数据从”补充手段”升级为”核心基建”。 SUPERNOVA（2026-03）证明 SFT 数据质量直接决定 RLVR 的奖励上限。daVinci-LLM（2026-04）证明精细处理 1/10 的数据可以匹敌粗放使用全量数据。当数据质量成为模型能力的瓶颈变量，数据生产的投入产出比计算方式发生了根本变化。

  2. 多 Agent 系统已被验证为可行的研究范式。 Anthropic AAR 用 9 个 Agent 在对齐研究上超越人类。SkillClaw（arXiv:2604.08377）证明多用户交互轨迹可以驱动技能集体演化。MiniMax M2.7 展示了递归自优化的工程可行性。基础设施已经就绪。

  3. GPT-6 的 200 万 Token 上下文和持平的 API 定价（2026-04-14） 使得”多 Agent 长程交互”的成本大幅降低。以往用 4 个 Agent 做 100 轮博弈可能花费数千美元，现在可以压缩到百美元量级。

现有方案的缺口

方案解决的问题未解决的问题
DCE（2026-04）跨批次模式崩溃不管下游任务效用
OptimSyn（2026-04）评分标准自动调优单维度优化，忽略多样性
DPG（2026-04）精确控制模型行为单生成器，多目标困难
Self-Instruct 系列低成本指令数据多样性随规模衰减
Evol-Instruct渐进式难度提升进化方向单一

没有一个方案同时处理多样性和质量的联合优化。更重要的是，所有方案都是”单生成器”范式——一个 LLM 承担生成、自评、多样化的全部职责，角色混淆必然导致妥协。

重要性评估

  • 技术可行性：高。核心组件（多 Agent 编排、影响力估计、语义去重）都有现成实现，创新在于组合方式。
  • 差异化：高。多 Agent 对抗式数据合成在学术文献中几乎没有先例。GAN 的对抗思想被广泛应用于图像生成，但在 LLM 数据合成领域尚未被系统化提出。
  • 潜在影响：如果方案有效，它将改变合成数据的生产范式——从”一个 LLM 生成 + 后处理过滤”变为”多 Agent 自组织的数据工厂”。

核心洞察

合成数据生成中的多样性-质量权衡本质上是一个多目标优化问题，而多 Agent 对抗动态是解决多目标优化的天然范式。

类比帮助理解：

  • GAN：Generator vs. Discriminator 的二元对抗产生了高质量图像。但二元对抗在文本领域效果差，因为文本的离散性使得梯度信号难以回传。
  • 本提案：不依赖梯度，而是用 LLM Agent 之间的”自然语言博弈”替代。Generator 提交候选数据，Critic 用多维评分标准评判（可以有多个 Critic 各管一个维度），Diversifier 监控全局分布并给 Generator 注入”探索信号”。每个 Agent 都有自己的策略，策略在竞争中演化。

关键的设计决策——借鉴 Anthropic AAR 的两个发现：

  1. 多样化起点：不同的 Generator 被赋予不同的”生成哲学”（如”偏好长推理链”、“偏好边界案例”、“偏好跨领域迁移”），而不是统一的 prompt。
  2. 最小结构化：不规定 Agent 之间的交互协议细节，只定义输入输出接口和评估指标，让 Agent 自主发展协作模式。

技术方案

整体架构

系统由三类 Agent 和一个中央调度器组成：

┌─────────────────────────────────────────────────┐
│                  Orchestrator                     │
│  (分布监控 / 预算管理 / 终止条件判断)              │
└──────────┬──────────┬──────────┬────────────────┘
           │          │          │
    ┌──────▼───┐ ┌────▼────┐ ┌──▼──────────┐
    │Generator │ │ Critic  │ │ Diversifier │
    │  Pool    │ │  Panel  │ │   Monitor   │
    │(N=3-5个) │ │(M=2-3个)│ │   (1个)     │
    └──────────┘ └─────────┘ └─────────────┘

Generator Pool（生成器池，3-5 个）：

  • 每个 Generator 有独立的”生成策略”（strategy），用自然语言描述其偏好方向
  • 初始策略由 Orchestrator 分配，确保多样化起点
  • 每轮生成后，Generator 根据 Critic 反馈和自身历史表现自主调整策略
  • 实现：每个 Generator 维护一个 strategy prompt + 生成历史摘要 + 最近 K 轮的 Critic 评分

Critic Panel（评判团，2-3 个）：

  • 每个 Critic 专注一个质量维度：
    • Factual Critic：事实一致性验证（可调用工具检索外部知识）
    • Reasoning Critic：推理链完整性和逻辑连贯性
    • Utility Critic：预测样本对目标模型的训练效用（借鉴 OptimSyn 的影响力估计）
  • Critic 之间独立评分，不共享内部状态
  • 每个 Critic 的评分标准也会演化——根据下游模型在验证集上的表现调整权重

Diversifier Monitor（多样性监控器，1 个）：

  • 维护一个增量更新的语义嵌入索引（借鉴 DCE 的语义记忆）
  • 实时计算全局分布的熵、覆盖率、聚类数等指标
  • 当检测到分布收窄时，向特定 Generator 注入”探索信号”——强制要求下一批生成偏离当前高密度区域
  • 当检测到某个 Generator 持续产出低质量内容时，建议 Orchestrator 重置其策略

核心流程：竞争-协作循环

每一轮（round）的流程：

Phase 1: 并行生成

  • N 个 Generator 各自根据当前策略生成一批候选数据（batch_size=50-100/Generator）
  • 生成时，每个 Generator 可以看到 Diversifier 提供的”当前分布摘要”和”建议探索方向”

Phase 2: 多维评判

  • M 个 Critic 独立对所有候选数据评分
  • 评分结果汇总为一个多维质量向量 [factual_score, reasoning_score, utility_score]
  • 不做加权聚合——保留多维信息供后续决策

Phase 3: 对抗性筛选

  • Orchestrator 执行帕累托筛选：保留帕累托非支配解（在任何维度都不劣于其他样本的数据点）
  • 对于帕累托前沿上的样本，结合 Diversifier 的分布信息做最终选择——优先保留能扩展分布覆盖的样本
  • 被淘汰的样本及其淘汰原因反馈给对应的 Generator

Phase 4: 策略演化

  • 每个 Generator 收到本轮的”入选率”和”淘汰原因分析”
  • Generator 自主决定是否调整策略（可以选择不调整）
  • 每个 Critic 收到下游验证集上的新指标，决定是否调整评分权重
  • Diversifier 更新语义索引，重新计算分布指标

Phase 5: 锦标赛选拔（每 10 轮执行一次）

  • 统计过去 10 轮中每个 Generator 的综合表现
  • 表现最差的 Generator 被”重生”——重置策略为一个新的随机方向
  • 表现最好的 Generator 的策略被记录为”已验证有效策略”

质量控制

三层质量保障：

  1. 即时层：Critic Panel 的多维评分 + 帕累托筛选
  2. 统计层：每 100 轮对已采纳的数据做全量统计分析——分布偏移检测、异常值检测、重复率计算
  3. 端到端验证层：每 500 轮用已采纳的数据做一次小规模 SFT 实验，在验证集上测指标，反馈给 Critic 校准评分标准

防止奖励黑客（借鉴 Anthropic AAR 的教训）：

  • Critic 的评分标准不直接暴露给 Generator
  • Generator 只收到”入选/淘汰”的结果和自然语言形式的改进建议
  • 定期用人工抽检验证 Critic 评分与人类判断的一致性
  • 端到端验证层作为最终裁判——如果 Critic 评分高但下游指标不涨，触发 Critic 策略重置

实现细节

Agent 间通信：JSON 格式的结构化消息，包含 role、round_id、content、metadata 字段。不使用共享内存——每个 Agent 只能通过消息传递获取信息，这确保了 Agent 间的信息隔离。

语义嵌入索引：使用 FAISS 的 IVF-PQ 索引，支持增量更新。嵌入模型选择 BGE-M3 或同等水平的多语言嵌入模型。索引容量预设为 1000 万条。

成本控制：

  • Generator 和 Critic 可以使用不同规格的模型——Generator 用大模型（如 GPT-6、Claude Sonnet 4）保证生成质量，Critic 中的 Factual Critic 和 Reasoning Critic 可以用中等规格模型（如 GPT-5.4-mini），Utility Critic 需要大模型
  • 每轮的 token 消耗预算上限可配置
  • 锦标赛选拔机制确保低效 Generator 被及时淘汰，避免持续浪费

成本与可行性评估

概念验证（PoC）

  • 目标：在单一领域（如数学推理 SFT 数据）上验证多 Agent 对抗式生成相比单 Agent 基线的优势
  • 规模：5 个 Generator + 3 个 Critic + 1 个 Diversifier，100 轮迭代，每轮每 Generator 生成 50 条
  • 预计产出：~25,000 条候选数据，经筛选后 ~5,000-8,000 条高质量数据
  • API 成本估算：
    • Generator（5 × 100 轮 × 50 条 × ~2K tokens/条输入 + ~1K tokens/条输出）≈ 50M input + 25M output tokens
    • Critic（3 × 25,000 条 × ~1.5K tokens/条）≈ 112.5M tokens
    • 按 GPT-6 定价（2.5/MTokinput,2.5/MTok input, 12/MTok output）：Generator ~425,Critic 425, Critic ~280
    • Diversifier + Orchestrator 开销 ~$50
    • 总计 ~$750-1,000
  • 时间：单机 + API 并行调用，预计 2-3 天
  • 验证指标：对比单 Agent 基线（同等 API 预算下），测量 (1) 语义多样性（聚类数、分布熵）、(2) 下游任务增益（目标模型在验证集上的表现）、(3) 数据利用率（采纳率）

中等规模验证

  • 目标：跨 3 个领域（数学推理、代码生成、指令遵循）验证方案的泛化性
  • 规模：500 轮迭代，预计产出 ~15-25K 条高质量数据
  • API 成本：~$3,000-5,000
  • 时间：1-2 周

可行性判断

  • 工程复杂度：中等。核心挑战是多 Agent 编排的稳定性，但 Anthropic AAR 和 SkillClaw 已验证了类似规模的多 Agent 系统的可行性
  • 最大风险点：Agent 间的博弈是否能收敛到有意义的均衡，而不是陷入”所有 Generator 生成相同类型数据来讨好 Critic”的纳什均衡陷阱
  • 缓解措施：锦标赛选拔机制 + 周期性策略重置 + Diversifier 的强制探索信号

风险与缓解

风险概率影响缓解
Agent 博弈不收敛，Generator 策略振荡中高引入 EMA 平滑策略更新；设置策略变更幅度上限
Critic 被 Generator “欺骗”（奖励黑客）中高Critic 评分标准不暴露；端到端验证层兜底
多 Agent 通信开销超过收益低中通信协议压缩；减少非必要的跨 Agent 信息传递
成本超出预算中中每轮 token 预算硬上限；低效 Generator 及时淘汰
Diversifier 的分布估计不准确低中使用高质量嵌入模型 + 定期全量重建索引
生成数据包含对抗性内容（安全风险）低高添加安全过滤层；定期人工抽检

预期产出

  1. 多 Agent 对抗式数据合成框架：开源实现，包含 Generator/Critic/Diversifier/Orchestrator 四个模块
  2. 对比实验报告：在数学推理、代码生成、指令遵循三个领域，与 Self-Instruct、Evol-Instruct、OptimSyn 单 Agent 基线的系统对比
  3. 策略演化分析：记录和可视化 Generator 策略在 500+ 轮博弈中的演化轨迹，分析哪些策略在竞争中存活
  4. 实践指南：不同规模（千级/万级/百万级）的部署配置建议，包括 Agent 数量、轮次、模型选择、成本估算
  5. （推测） 如果方案有效，多 Agent 对抗式生成在同等 API 预算下的数据效用应优于单 Agent 基线 15-25%。这个数字基于 Anthropic AAR 实验中多 Agent 相对单 Agent 的增益幅度类推，实际结果可能有较大方差。

与站内已有工作的关系

  • 与 LLM 语义级数据质量验证框架（04-14）的关系：互补。该提案关注验证环节，本提案关注生成环节。Critic Panel 的设计可以复用该框架的多层语义验证流水线
  • 与递归式自进化轨迹（04-13）的关系：正交。该提案关注 Agent 改进自身工作流的元轨迹，本提案关注 Agent 之间竞争-协作的群体动态。但 Generator 的策略演化过程本身也是一种可提取的元轨迹数据
  • 与 DCE 跨批次去重（04-15 data-papers）的关系：DCE 的语义记忆机制被直接集成到 Diversifier 组件中