研究提案

APEX-Agents: Mercor 基准测试商业方案全解析

Mercor APEX-Agents 基准测试的完整商业提案——2,620 个任务、8 大领域、专家评审体系、后训练效果验证与交付方案

论文： APEX-Agents: AI Productivity Index for Agents

作者： Mercor

2026年4月15日 APEX-Agents Agent Evaluation Benchmark Mercor Post-Training Professional Services

新窗口

私有内容

此页面为私有内容，请输入密码查看

APEX-Agents: Mercor 基准测试商业方案全解析

内部材料 | Mercor 面向 Tencent 的完整商业提案推荐切换到「富文本」视图查看完整的可视化报告

核心要点

基准规模：2,620 个任务，覆盖 8 个专业领域（金融、法律、咨询、医学、数据科学、HR、会计、教育），143 个独立 World 环境
Sim-to-Real 鸿沟：每场景 100–600+ 文件，跨应用长周期工作流，还原真实专业工作
SOTA 表现低：最佳 Pass@1 为 Gemini 3 Flash（24%）；Pass@8 最佳为 GPT-5.2（40%）；40% 任务所有模型 8 次均无法通过
关键差异因子：GPT-5.2 的 todo_write 使用率高出 21.6pp、toolbelt_inspect_tool 高出 17.6pp——规划和工具探索策略是胜负手
后训练效果显著：仅 874 个专家标注任务，GLM 4.6（355B MoE）Pass@1 接近翻倍，公司法 Pass@1 增长 3 倍，训练曲线近线性
专家质量体系：4 层 QA + 17,000+ Rubric Academy 认证评审员

一、APEX-Agents 设计架构

APEX-Agents 基于三大组件构建评估体系：

1. Worlds：高保真专业环境

3-5 名领域专家进行多天真实项目角色扮演，自然产生的文件痕迹——邮件、文档、表格、聊天——组成每个 World。

特征	说明
真实文件痕迹	含修订、邮件线程和现实混乱
数百关联文件	每场景 100-600+ 文件
跨应用复杂性	文档/表格/演示/邮件/领域工具协调
领域专业真实性	由该领域从业者构建

2. Apps：专业工具集

领域	应用
金融	FMP, EDGAR, QuickBooks, Xero, TaxJar, ADP
咨询	Slide Tools (think-cell)
法律	USPTO, EDGAR
医学	OpenEMR
数据科学	Looker/Tableau, SQL, Code Exec
HR	Workday, SAP, BambooHR
通用	Sheets, Docs, Slides, Calendar, Chat, Email, PDF, Code

3. Tasks & Verifiers

每个任务是专业人员会提出的真实请求，Agent 执行轨迹被逐步跟踪。

二、库存与定价

领域	任务数	单价	总价
金融	830	$1,800	$1,494,000
咨询	590	$1,800	$1,062,000
法律	530	$2,000	$1,060,000
医学	250	$2,000	$500,000
教育	100	$1,600	$160,000
数据科学	200	$1,600	$320,000
会计	40	$1,800	$72,000
HR	80	$1,400	$112,000
合计	2,620	—	$4,780,000

Tencent 专属折扣：40% → $2,868,000（平均 $1,095/任务）

三、基准测试结果

在 480 个任务（均分于投行/公司法/管理咨询）上的评估：

总体表现

指标	最佳值
Pass@1	24.0%（Gemini 3 Flash）
Pass@8	40%（GPT-5.2, 192/480）
Mean Score	39.5%（Gemini 3 Flash）
无模型通过	192/480 任务（40%）

各领域 OTS 表现

领域	平均工具数	平均调用数	预计时间	SOTA Pass@1	SOTA 准确率
金融	8.91	31.2	1.56h	6.7%	40%
咨询	8.60	30.1	2.13h	30%	53%
法律	7.25	27.2	4.46h	15%	33%
医学	10.07	32.4	-	1.4%	38%
教育	7.71	24.6	1.42h	8.6%	19%
数据科学	6.98	31.4	2.67h	20%	21%
会计	8.69	31.1	1.60h	4.2%	8.7%
HR	10.45	45.6	-	18.2%	32%

Pass@8 模型对比

Agent	Pass@8	独特通过	共同通过	未通过
claude-opus-4-5	163	7	156	125
gemini-3-flash	176	6	170	112
gemini-3-pro	179	6	173	109
GPT-5	149	5	144	139
GPT-5.2	192	17	175	96
grok-4	158	7	151	130

四、GPT-5.2 vs Gemini 3 Pro 工具使用分析

核心洞察：每个领域的获胜模型都在输出前使用更多探索/规划工具。成功与”先搜索，后行动”高度相关。

工具	GPT-5.2	Gemini 3 Pro	差异
todo_write（规划）	50.4%	28.9%	GPT-5.2 +21.6pp
toolbelt_inspect_tool	29.0%	11.4%	GPT-5.2 +17.6pp
word_read_document_content	23.2%	40.6%	Gemini +17.4pp
filesystem_read_image_file	10.5%	1.2%	GPT-5.2 +9.2pp

分领域表现：

管理咨询（GPT-5.2 胜）：todo_write +39.4pp，更广泛读取图片/PDF
投资银行（GPT-5.2 胜）：工具检查 +43.8pp，规划 +26.7pp
公司法（Gemini 胜）：toolbelt 函数 +65.2pp，文件列举 +64.0pp，文档阅读 +57.2pp

五、后训练效果验证

与 Applied Compute 合作，使用专家标注开发集对开源模型进行后训练。

项目	详情
基础模型	GLM 4.6（355B MoE, 32B 激活）
基线	Pass@1 3.8%, Mean Score 12.1%
训练数据	874 任务 / 50 个 World / 跨领域
方法	单轮 RL（Applied Compute 长周期 RL 栈），无 SFT 预热

关键发现：

Pass@1 和 Mean Score 接近翻倍
公司法 Pass@1 增长 3 倍
训练趋势线近线性——更多数据持续带来收益
数百个（非数万个）专家样本即产生实质提升
轨迹可观测性显示模型学会了自我纠正和系统化检查清单行为

六、专业专家资源

Mercor 拥有 200 万+ 专业人员网络，覆盖 50+ 领域。

专家类型	专家池	评分专家	背景示例
医生	5k+	1k+	斯坦福住院医师，弗吉尼亚联邦大学 MD
高端金融	5k+	500+	摩根大通医疗 IB → PE，哈佛 MBA
STEM 博士	20k+	500+	加州伯克利微生物学 PhD
MBB 咨询	2k+	500+	芝大布斯 MBA，BCG 合伙人
律师	5k+	1k+	弗吉尼亚大学 JD，Cadwalader
奥赛选手	500+	250+	2022 IMO 金牌

七、质量保证体系

四层验证：

确定性检查（100%）：自动验证结构、格式、完整性
人工评审（100%）：专家按评分标准评估
LLM 审计（100%）：验证人工评审准确性
人工审计（抽样）：差异解决与流水线验证

Rubric Academy：17,000+ 名专家通过 5 小时结构化课程认证，仅 85%+ 得分者有资格参与。每条标准需满足五项要求：可证伪、无歧义、自包含、不堆叠、时效无关。

八、数据交付

通过 Mercor Studio 交付，含 Docker 容器、MCP 服务器及完整评估基础设施。

目录结构：

data/worlds/ — 每个 World 的元数据、Schema、100-600+ 文件
data/tasks/ — 提示词、验证器、golden response
data/evals/ — 轨迹批量导出、多维度分析报告
code/docker/ — 可直接运行的 Docker 镜像
code/services/ — MCP 服务器源码

九、各领域示例任务

咨询：评估 Pret 是否应以折扣忠诚度计划进入美国中型城市——模型因数学分析错误高估成本

投行：更新 DCF 假设重新计算 MTZ 股权价值——模型忽略现有 DCF 模型自建 Python 计算，返回负股价

法律：确定 NorthStar 对科罗拉多州居民的通知义务——模型遗漏豁免条款，任何执业律师都能立即识别

医学：诊断绝经后泌尿症状——模型引入家族癌症史后注意力偏移，过度关注恶性肿瘤

数据科学：评估降低忠诚度囤积者积分阈值的影响——模型忽略优先级层次导致分群规模被严重高估

HR：评估高级 SWE 候选人——模型忽略边界规则推进不合格候选人