Agent-Expert 混合 World 构建方案

内部材料 | 基于 Mercor APEX-Agents Pitch 的低成本替代方案 推荐切换到「富文本」视图查看完整的架构图和流程图

---

核心思路

• 问题：Mercor 方案每个 World 需 3-5 名专家多天角色扮演，2,620 个任务总报价 $4.78M（折后 $2.87M）
• 方案：Agent 做量（批量生成文件痕迹）、专家做质（场景设计 + 噪声注入 + 验收），每个 World 仅需 1 名专家
• 成本：专家工时降至原方案 ~30%，额外工程投入约 2-3 人周搭建 Agent Pipeline
• 风险：同源偏差、文件过于「干净」、领域深度不足——通过噪声注入 + 专家验收 + 对照组缓解

---

一、整体架构

将原方案的纯专家角色扮演拆分为五个阶段，核心原则：Agent 负责内容生产的规模化，专家负责质量的把关和现实性注入。

Phase	名称	执行者	产出
1	场景设计	领域专家 × 1	场景骨架 + 角色定义 + 关键判断点
2	批量生产	Agent × 4（Email/Doc/Sheet/Chat）	100-600 文件
3	噪声注入	领域专家	版本冲突/拼写错误/遗漏附件/数据矛盾
4	任务 & 验证器	专家 + Agent 协作	Task + Rubric
5	终期验收	领域专家	质量报告 + 同源偏差评估

---

二、详细流程

单个 World 从设计到交付的完整执行流。预计工期 3-5 天（原方案 5-10 天）。

1. 定义场景骨架（专家）：选定项目背景，定义 3-5 个角色，明确关键决策节点
2. 撰写剧本大纲（专家）：5-10 个关键剧情节拍，每个 beat 包含事件/参与者/产出/错误点
3. Agent 角色扮演 · 文件生成（Agent × 4）：并行生成邮件/文档/表格/聊天记录
4. 自动一致性检查（Pipeline）：交叉引用/时间线/实体/数字一致性验证
5. 专家噪声注入 & 审查（专家）：注入现实缺陷，修正不符合领域惯例的内容
6. Task & Verifier 生成（协作）：专家定义核心任务，Agent 扩展变体
7. 终期验收（专家）：可信度审查 + 任务抽检 + 同源偏差评估

---

三、角色分工矩阵

环节	执行者	不可替代性
场景设计	专家	高——Agent 不知道什么是「真实的混乱」
邮件/聊天生成	Agent	低——格式化内容，Agent 产量高
文档/报告生成	Agent	中——需要领域模板指导
数据表/模型生成	Agent	低——结构化数据 Agent 擅长
噪声注入	专家	高——需要知道什么样的错误是「自然的」
核心 Task 设计	专家	高——需要领域判断力
变体 Task 扩展	Agent	低——机械扩展
终期验收	专家	高——最终质量兜底

---

四、成本对比

方案	专家工时/World	成本/World	质量	同源偏差
Mercor 纯专家	60-125 人时	$5K-$15K	★★★★★	极低
混合方案	24 人时 + Agent	$2K-$4K	★★★★☆	中等（可控）
纯 Agent	0	$50-$100	★★☆☆☆	严重

以 143 个 World 估算：

• Mercor 方案：$715K –$2.15M
• 混合方案：$286K –$572K（~35%）
• 纯 Agent：~$7K –$14K（不推荐）

---

五、Agent Pipeline 技术设计

5.1 Agent 角色

Agent	输入	产出	关键约束
Orchestrator	场景骨架 + 剧本	执行计划 + 角色 Prompt	严格遵循 beat 序列
Email Agent	角色 + 剧情	邮件线程	引用关系 + 时间戳递增
Doc Agent	模板 + 上下文	文档/报告	领域标准格式
Sheet Agent	Schema + 规则	表格/模型	数值一致 + 公式正确
Chat Agent	Persona + 事件	聊天记录	口语化 + 非正式

5.2 噪声注入策略

Agent 生成的「故意错误」本质上是另一种规律。只有领域专家知道哪些错误在现实中自然发生。具体操作：

• 5-10% 邮件引入拼写/格式错误
• 2-3 处版本冲突（邮件说 v3 但附件是 v2）
• 1-2 个被引用附件被删除
• 1-2 处表格计算错误或数据不一致
• 添加无关干扰文件

---

六、风险矩阵

风险	影响	概率	应对
同源偏差	高	中	10% 纯专家对照组 + 偏差检测
内容过于干净	中高	高	专家噪声注入 + 标准化清单
领域深度不足	中	中	领域模板 + 术语表 + 核心判断点由专家定义
Agent 间不一致	中	中	共享 memory + Orchestrator + 一致性引擎
评分标准偏差	中	中低	规则化派生 + 专家抽检 20%

---

七、执行计划

阶段一：Pilot（2 周）

2 个领域（金融 + 法律）各构建 1 个 World，同时构建纯专家对照 World。

阶段二：Scale（4-6 周）

扩展到全 8 个领域，批量构建 80-100 个 World，1,500+ 任务。

阶段三：Validation（2 周）

混合 World vs 对照 World 的 benchmark 对比。差异 < 5pp 则确认可用。

里程碑	时间	交付物	决策点
Pipeline Ready	T+1w	可运行的 Agent Pipeline	—
Pilot Complete	T+2w	4 个 World + 对比报告	Go/No-Go
Scale 50%	T+5w	~50 个 World	质量中期审查
Full Delivery	T+8w	80-100 World + 1,500+ Tasks	—
Validation	T+10w	Benchmark 对比报告	效果确认

---

八、结论

混合方案在成本降至 ~35% 的前提下，预期质量损失可控。关键在于专家介入的位置而非时长。

推荐策略：

• Mercor 采购：医学、会计等专家门槛极高的领域（290 任务，折后 ~$343K）
• 自建混合方案：其余 6 个领域（2,330 任务）
• 总成本：从 $2.87M 降至约 $700K-$900K

不推荐纯 Agent 方案：用 AI 生成的数据评测 AI 等于「自己出题自己考」，至少需要 10-15% 的纯专家对照组来锚定质量基线。