Research Proposal · Internal

Agent-Expert 混合 World 构建方案

基于 APEX-Agents 框架,用 Agent 集群替代大部分专家角色扮演,将 World 构建成本降至原方案 30-40%, 同时通过专家关键节点介入保持数据质量。

2026-04-15 基于 Mercor APEX-Agents Pitch 内部方案讨论

核心思路

一、整体架构

将原方案的纯专家角色扮演拆分为五个阶段,每阶段明确标注由谁负责执行。核心原则:Agent 负责内容生产的规模化,专家负责质量的把关和现实性注入。

▎ 混合 World 构建架构
领域专家
Agent 集群
自动化系统
产出物
质量关卡
Phase 1 场景设计
👤领域专家 × 1
→
📋场景骨架
→
🎭角色定义 × 3-5
→
🔑关键判断点
Phase 2 批量生产
🤖Email Agent
🤖Doc Agent
🤖Sheet Agent
🤖Chat Agent
→
📁100-600 文件
Phase 3 噪声注入
👤专家审查
→
🔀版本冲突
❌拼写错误
📎遗漏附件
⚡数据矛盾
Phase 4 任务 & 验证器
👤专家写核心任务
→
🤖Agent 生成变体
→
⚙️Verifier 生成
→
✅Task + Rubric
Phase 5 终期验收
👤专家终审
→
🔍领域一致性检查
→
🧪同源偏差检测
→
🌍交付 World

二、详细流程

单个 World 从设计到交付的完整执行流。预计工期 3-5 天(原方案 5-10 天)。

▎ 单 World 构建流程
1

定义场景骨架

专家选定项目背景(如:某科技公司 Pre-IPO 尽调),定义 3-5 个角色(投行分析师、公司 CFO、律师、审计师),明确关键决策节点和预期文件类型

👤 领域专家
2

撰写剧本大纲

专家写出 5-10 个关键剧情节拍(beat),每个 beat 包含:发生什么、谁参与、产出什么文件、哪里会出问题。这是 Agent 无法替代的「领域直觉」

👤 领域专家
3

Agent 角色扮演 · 文件生成

4 个专用 Agent 按角色定义并行生成内容:Email Agent(邮件线程)、Doc Agent(文档/报告/备忘录)、Sheet Agent(财务模型/数据表)、Chat Agent(内部聊天记录)。每个 Agent 遵循剧本 beat 序列

🤖 Agent × 4
4

自动一致性检查

自动化脚本验证:文件间交叉引用完整性、日期时间线逻辑一致、人名/公司名/数字无冲突、文件格式合规

⚙️ Pipeline
5

专家噪声注入 & 审查

专家审查 Agent 产出,注入「authentic messiness」:故意引入版本冲突的文档、拼写错误的邮件、遗漏附件的线程、前后矛盾的数据点。同时修正任何不符合领域惯例的内容

👤 领域专家
6

Task & Verifier 生成

专家定义 5-10 个核心任务(高复杂度),Agent 基于核心任务扩展 10-20 个变体任务(参数变换/场景微调)。每个任务配套生成评分标准和自动验证器

👤 + 🤖 协作
7

终期验收

专家执行三项最终检查:① 从业者视角审查整个 World 的可信度;② 随机抽取 3 个任务手动执行,验证评分标准合理性;③ 评估是否存在 AI 生成模式让被测模型占便宜

👤 领域专家

三、角色分工矩阵

环节 执行者 产出 不可替代性
场景设计 ● 专家 场景骨架、角色定义、剧本 beat 高——Agent 不知道什么是「真实的混乱」
邮件/聊天生成 ● Agent 邮件线程、聊天记录、会议纪要 低——格式化内容,Agent 产量高
文档/报告生成 ● Agent 备忘录、分析报告、合同草稿 中——需要领域模板指导
数据表/模型生成 ● Agent 财务模型、数据集、日程表 低——结构化数据 Agent 擅长
噪声注入 ● 专家 现实缺陷、不一致、遗漏 高——需要知道什么样的错误是「自然的」
核心 Task 设计 ● 专家 高复杂度任务 + 评分标准 高——需要领域判断力
变体 Task 扩展 ● Agent 参数变换、场景微调的衍生任务 低——机械扩展
Verifier 生成 ● 自动化 自动评分脚本 低——规则驱动
终期验收 ● 专家 质量报告、同源偏差评估 高——最终质量兜底

四、成本对比

方案 专家工时/World 估算成本/World 质量等级 同源偏差风险
Mercor 纯专家 3-5 人 × 3-5 天 = 60-125 人时 $5,000 – $15,000 ★★★★★ 极低
混合方案(推荐) 1 人 × 3 天 = 24 人时 + Agent $2,000 – $4,000 ★★★★☆ 中等(可控)
纯 Agent 0 人时 $50 – $100 API ★★☆☆☆ 严重

成本结构可视化

▎ 每 World 成本对比(以 143 个 World 估算总预算)
Mercor 纯专家
$715K – $2.15M
100%
混合方案
$286K – $572K
~35%
纯 Agent
~1%

注:混合方案需额外 2-3 人周工程投入搭建 Agent Pipeline(一次性成本,不计入 per-World 成本)

五、Agent Pipeline 技术设计

5.1 Agent 角色定义

Agent 输入 产出 关键约束
Orchestrator 场景骨架 + 剧本 beat 执行计划 + 角色 System Prompt 严格遵循专家定义的 beat 序列
Email Agent 角色信息 + 剧情节拍 邮件线程(.eml / .txt) 保持回复链引用关系、时间戳递增
Doc Agent 文档类型模板 + 上下文 备忘录/报告/合同草稿 使用领域标准格式、引用其他已生成文件
Sheet Agent 数据 schema + 业务规则 表格/财务模型/数据集 数值内部一致、公式逻辑正确
Chat Agent 角色 persona + 事件触发 即时消息对话记录 口语化、含缩写和非正式表达

5.2 一致性引擎

Agent 生成后,自动化脚本进行多维度一致性检查:

5.3 噪声注入策略

为什么不能让 Agent 自己注入噪声?
Agent 生成的「故意错误」本质上是另一种规律。只有领域专家知道哪些错误在现实中自然发生、以什么频率出现、会被什么级别的从业者忽略。这是数据质量的核心竞争力。

专家噪声注入的具体操作:

六、风险矩阵与应对

风险 影响 概率 应对措施 残余风险
同源偏差
Agent 生成的 World 对 AI 模型更友好
高 中 ① 保留 10% 纯专家对照组
② 专家验收时评估「AI 友好度」
③ 测试时对比对照组 Pass Rate 差异
中低
内容过于干净
缺少真实工作场景的混乱感
中高 高 ① 专家噪声注入(Phase 3)
② 噪声清单标准化
③ 与 Mercor 真实 World 做 A/B 比对
低
领域深度不足
Agent 在专业细节上犯错
中 中 ① 专家提供领域模板和术语表
② Agent 只生成框架内容,核心判断点由专家定义
③ 自动化领域术语一致性检查
低
Agent 间不一致
多 Agent 生成的文件互相矛盾
中 中 ① 共享上下文 memory
② Orchestrator 统一分配事实
③ 一致性引擎自动检测
低
评分标准偏差
Agent 生成的变体任务评分标准不合理
中 中低 ① 变体任务由核心任务规则化派生
② 专家抽检 20% 变体任务
③ LLM 交叉审计评分标准
低

七、执行计划

阶段一:Pilot(2 周)

目标:用 2 个领域(金融 + 法律)各构建 1 个 World,验证混合方案可行性。

阶段二:Scale(4-6 周)

阶段三:Validation(2 周)

里程碑时间线

里程碑 时间 交付物 决策点
M1: Pipeline Ready T+1w 可运行的 Agent Pipeline —
M2: Pilot Complete T+2w 4 个 World + 对比报告 Go / No-Go 决策
M3: Scale 50% T+5w ~50 个 World 质量中期审查
M4: Full Delivery T+8w 80-100 个 World + 1,500+ Tasks —
M5: Validation T+10w Benchmark 对比报告 方案效果确认

八、结论与建议

核心判断:混合方案在成本降至 ~35% 的前提下,预期质量损失可控(< 5pp benchmark 差异)。关键在于专家介入的位置而非时长——场景设计、噪声注入、终期验收三个节点是质量的决定因素。

推荐执行顺序

  1. 先做 Pilot:2 个领域 × 1 个 World,2 周内出结果,低成本验证方案
  2. Pilot 成功后 Scale:先扩金融/法律/咨询(高价值领域),后补其他领域
  3. 保留 Mercor 采购选项:对于 Pilot 验证中混合方案效果不佳的领域(推测:医学),考虑直接采购 Mercor 数据

与 Mercor 方案的互补关系

混合方案不是 Mercor 的替代品,而是补充品。建议策略:

⚠️ 不推荐纯 Agent 方案:同源偏差问题无法通过工程手段完全消除。用 AI 生成的数据评测 AI,等于「自己出题自己考」——即使刻意增加难度,模式分布的偏差仍会高估模型在真实场景的能力。至少需要 10-15% 的纯专家对照组来锚定质量基线。