为什么重要
VAKRA（eValuating API and Knowledge Retrieval Agents）是 IBM Research 于 2026 年 8 月发布的可执行、工具接地的 Agent 组合推理基准。现有 Agentic 基准（SWE-bench、AgentBench）大多在隔离环境中测试单一能力，漏掉了真实企业部署的约束——API 限流、权限策略、多源异构信息对齐。VAKRA 用 8000+ 本地托管、数据库支撑的 API 和 62 个领域，逼 Agent 在”同时对接多类系统、完成多跳逻辑推理”的真实场景中表现。
它的核心价值在于暴露”语言中介推理”瓶颈：失败集中发生在实体消歧与跨源信息对齐，而非工具调用本身。这直接回答了”企业智能体为什么一上生产就崩”——不是模型不会调 API，而是不会把不同 schema 下的实体映射起来。
构建方式
- 企业级 API 环境：8000+ 本地托管、数据库支撑的可执行 API，覆盖 62 个业务领域
- 多源文档索引：依托 BIRD-SQL 数据库扩展 API，融合 ClapNQ 与 Wikidata5M 文档构建检索索引
- 四阶段流水线：自动生成 2-5 跳推理链，覆盖 9484 个任务样本，全部经过人工质量评估保证语义连贯性
- 四层能力分级：
- Cap 1：BI 风格 API 交互（2077 实例 / 54 领域，1-12 次工具调用）
- Cap 2：Dashboard API / 工具短名单（每领域 6-328 个候选工具，平均 116，超过 OpenAI 128 上限）
- Cap 3：结构化 API 多跳推理（3-7 次依赖调用，每次输出需解析后重参数化）
- Cap 4：自然语言策略约束（访问限制、条件逻辑，调用前须先解析）
- 三阶段裁判管线：PolicyJudge（策略合规）→ ExactMatchJudge（期望工具响应是否出现在轨迹中，顺序无关）→ GroundednessJudge（最终答案是否根植于实际执行输出）；允许多种合法执行路径
关键发现
- 能力随推理深度骤降：最强模型单跳任务 70.4%，组合 API 任务掉到 50-51%，策略约束任务仅 2.4%——“该拒绝的问题，前沿模型几乎总试图回答”，这正是合规场景的核心失效模式
- 失败集中在语言中介推理：轨迹分析显示崩溃点在于实体消歧与跨源 grounding，而非原始工具调用——模型无法跨 schema 映射实体
- 工具短名单是工程硬约束：Cap 2 平均 116 个候选工具，超过 OpenAI API 的 128 上限，Agent 构建者必须先做 shortlisting 才能触及上限
- 固定 harness 隔离模型能力：采用固定 ReAct 脚手架，把模型能力与 Agent 架构解耦，结果可跨前沿/开源模型直接比较
与同类基准对比
| 基准 | 特点 | 规模 |
|---|---|---|
| VAKRA | 可执行 API + 多跳 + 策略约束 | 9484 任务 / 8000+ API |
| API-Bank | 静态评测 | 73 APIs |
| ToolBench | 代码生成 | 10000+ APIs |
| τ²-Bench | 双控环境对话 Agent | 12 任务 |
局限性
- 初期主要覆盖英文 API 与文档，多语言策略约束待扩展
- 本地 MCP 模拟 API 与真实生产环境仍有差距（延迟、限流、故障注入）
- 公开排行榜（HuggingFace Spaces）于 2026-03 开放提交，第三方复现数据仍在累积
关联基准
- AgentBench：综合 Agent 评测
- τ²-Bench：双控环境对话 Agent 评测
- GAIA：通用 AI 助手评测
- WebArena：网页环境 Agent