为什么重要
AlphaEval 是首个系统性地从”评答案”升级为”评交付”的 Agent 评测框架。不同于 SWE-bench 式的代码修复任务，AlphaEval 衡量 Agent 在真实企业生产环境下的端到端交付能力——从理解模糊的业务需求、处理异构多模态输入（PDF/Excel/图片/代码），到生成可运行的 Web 应用（小程序/H5），再到满足隐含业务约束和用户体验标准。
最核心的发现：最好的配置（Claude Code + Opus 4.6）仅得 64.41/100。这意味着即使是最强的前沿 Agent，在真实生产任务中也只能完成约 2/3 的工作——远低于 SWE-bench 系列 80%+ 的表现。这暴露了学术基准与生产现实之间的巨大鸿沟。
脚手架效应首次被量化：同一模型 Opus 4.6，通过 Claude Code 得 64.41，通过 Codex CLI 仅得 53.45——11 分的差距完全来自 Agent 框架的不同。这直接挑战了”模型即一切”的假设。
领域间极端不平衡：技术研究领域平均 62.0 分，而人力资源领域仅 30.0 分，领域间排名相关性常为统计不显著。
构建方式
AlphaEval 建立了一套从需求到基准的系统化构建框架：
- 企业合作：与 7 家部署 Agent 产品的公司合作，收集真实生产需求
- 需求抽取：将模糊的业务描述转化为可评测的正式任务
- 任务形式化：构建六阶段可复现链路：初始需求→需求澄清→应用生成→迭代反馈→修复迭代→交付评估
- 多范式评测：每任务组合 2.8 种评测方式（代码验证/形式化验证/Rubric/LLM-as-Judge/自动化 UI 测试/参考验证）
- Docker 沙箱：所有评测在隔离环境中运行，可复现
任务按 O*NET 职业分类体系组织，覆盖 6 大领域：
- 人力资源（11 tasks）：简历筛选
- 金融与投资（22 tasks）：投资研究、财务数据抽取
- 采购与运营（23 tasks）：BOM 成本优化
- 软件工程（11 tasks）：全栈小程序开发
- 医疗与生命科学（16 tasks）：临床试验 eCRF 管理
- 技术研究（11 tasks）：AI 行业深度研究
关键发现
- 研究-生产鸿沟：SWE-bench/WebArena 等学术基准评的是”修 Bug”，AlphaEval 评的是”交产品”——前者有明确测试用例，后者需求本身就模糊、含隐含约束
- 脚手架 ≥ 模型：同一模型在不同框架下得分差 11 分，选对 Agent 框架比选对模型更重要
- 六种生产特有失败模式：级联依赖崩溃、主观判断坍塌、信息检索失败、跨节逻辑不一致、约束误读、格式合规失败——这些在代码类基准中完全不可见
- 无单一分数可代表就绪状态：领域间排名相关性常不显著，一个领域的第一可能在另一领域垫底
最新进展
2026-07：AlphaEval 官网 (alphaeval.ai) 正式上线，提供交互式排行榜。论文发表于 arXiv（2026-04-14），被 COLM 2026 接收。当前排行榜仍以 2026-04 数据为主，Claude Opus 5（2026-07-24 发布）、GPT-5.6 Sol（2026-07-09）等最新前沿模型尚未在 AlphaEval 上正式评测——这将是观察”生产鸿沟是否缩小”的关键窗口。
方法论影响：AlphaEval 的需求→基准构建框架（requirement-to-benchmark）被设计为可复用的标准化流程，任何组织可基于此构建自己的生产级基准。这标志着 Agent 评测从”通用排行榜”向”场景定制化”的范式转变。