返回评测
Agent Agent-工具调用 未饱和 模态 · 文本 任务 · 执行验证

Gorilla

测试 LLM 准确调用 1,600+ API 的能力，覆盖 Torch/TF/HF

UC Berkeley ·

考察能力

API 调用 文档理解 参数推理

构建信息

数据规模
1,645 API calls
评测方式
AST 匹配
核心指标
AST Accuracy

资源链接

论文: arXiv:2305.15334

模型效果排行

🥇 GPT-4o
~88%
🥈 Claude 3.5 Sonnet
~86%

为什么重要

Gorilla 是 LLM 工具使用能力评测的先驱，测试模型能否根据自然语言描述准确调用 PyTorch、TensorFlow、HuggingFace 等库的 API，包括正确的函数名、参数和参数值。后来演化为 BFCL 基准。

构建方式

  1. 收集 PyTorch/TensorFlow/HuggingFace 的 1,600+ API
  2. 编写自然语言调用描述
  3. 通过 AST 匹配验证调用正确性
  4. 包含有无文档 retrieval 两种设定

任务示例

指令：“Load a pre-trained ResNet-50 model for image classification.” 期望输出：torch.hub.load('pytorch/vision', 'resnet50', pretrained=True)

关键发现

  • 带文档检索显著提升准确率
  • 参数幻觉是主要错误类型
  • API 版本兼容性是隐藏挑战

关联基准

  • BFCL：Berkeley Function Calling Leaderboard
  • ToolBench：大规模工具使用
  • ToolQA：工具增强 QA

不足与展望

  • API 快速迭代，评测数据需持续更新
  • 仅限 ML 领域 API
  • 但 BFCL 已成为工具调用的主流排行
API 工具使用 函数调用