ToolQA

为什么重要

纯粹依赖参数化知识的 LLM 在需要精确数据的问题上容易幻觉。ToolQA 测试模型能否正确选择和使用外部工具（数据库查询、计算器、图分析等）来回答问题，是 Tool-augmented LLM 的重要基准。

构建方式

1. 设计 8 个数据集覆盖不同领域（航班、咖啡、房产等）
2. 提供 13 种工具 API
3. 问题设计使得纯 LLM 无法可靠回答，必须使用工具
4. 分为 Easy（单工具）和 Hard（多工具链）

任务示例

问题：“What is the average price of 3-bedroom houses in zip code 94025 listed after 2023?” 所需工具：数据库查询 → 筛选 → 计算平均值

关键发现

• Hard 子集（多工具链）成功率远低于 Easy
• 工具选择错误比工具调用参数错误更致命
• ReAct 风格的推理显著提升表现

关联基准

• BFCL：函数调用排行榜
• ToolBench：大规模工具使用
• GAIA：通用 AI 助手

不足与展望

• 工具 API 较简单，不涉及复杂的 API 认证和错误处理
• 缺乏动态工具发现场景
• 需要更多真实世界的工具集成测试