为什么重要
函数调用（Function Calling）是 LLM Agent 的基础能力——将用户自然语言请求转化为结构化的函数调用（函数名+参数）。该评测覆盖单函数、多函数选择、参数类型推断、嵌套调用等维度，是衡量模型作为”API 调度器”能力的核心基准。
构建方式
设计多种函数签名和自然语言查询的配对。从简单（单函数+明确参数）到复杂（多函数选择+隐式参数+嵌套调用）递增难度。覆盖天气、日历、搜索、计算等常见 API 场景。
任务示例
- 可用函数：[search_web, get_weather, send_email, calculate]
- 用户：“What’s the weather like in Beijing tomorrow?”
- 期望调用：get_weather(city=“Beijing”, date=“tomorrow”)
关键发现
- 单函数调用准确率 >95%，多函数并行调用下降到 ~75%
- 隐式参数推断（“给我老板发邮件”→需从上下文推断老板邮箱）是最大挑战
- 不同模型在参数类型处理上差异显著
关联基准
BFCL（Berkeley 函数调用）、Gorilla（API 调用）、ToolBench（工具使用）、API-Bank（API 交互）
不足与展望
评测场景以常见 API 为主，缺少复杂业务 API 的评测。缺乏对错误恢复能力的评测。