为什么重要
API-Bank 在 Gorilla 之外提供了更强调多步 API 编排的评测。很多实际任务需要先调用 API-A 获取结果，再作为 API-B 的输入——这种链式调用能力是 Agent 的核心需求。
构建方式
- 定义 53 个常用 API（搜索、翻译、天气、日历等）
- 构造需要 1-5 步 API 调用的对话场景
- 在三个层次评测：API 调用、检索+调用、规划+检索+调用
任务示例
用户：“帮我查一下明天北京的天气，如果下雨就帮我取消明天的户外会议。” Agent 需：调用天气 API → 判断是否下雨 → 条件调用日历 API 取消会议
关键发现
- 单步调用准确率高，多步链式调用快速退化
- API 选择错误比参数错误更常见
- 需要的规划越复杂，成功率越低
关联基准
不足与展望
- API 集合偏小且固定
- 模拟 API 与真实 API 有差距
- 但多步编排评测理念有价值