返回评测
Agent Agent-工具调用 未饱和 模态 · 文本 任务 · 执行验证

TAU-bench

评估 Agent 在客服场景(航空/零售)中使用工具的能力

Sierra AI ·
已接入战绩榜 · 当前最高实测分 86.3% GPT-5.6 Terra(OpenAI) on τ²-bench · 50.5% Muse Spark 1.3(Meta) on τ²-bench (Banking) Artificial Analysis 统一协议复测 · 抓取于 2026-10-19 查看 →

考察能力

客服对话 工具使用 策略遵循

构建信息

数据规模
390 + 557 tasks
评测方式
标准评测
核心指标
Pass Rate (%)

模型效果排行

🥇 Claude Sonnet 4.5 (Retail)
86.2% 2026-01
🥈 Claude Opus 4.1
82.4% 2026-01
🥉 Claude Opus 4
81.4% 2026-01
4. Claude 3.7 Sonnet
81.2% 2026-01
5. Claude Sonnet 4
80.5% 2026-01
6. GLM-4.5
79.7% 2026-01
7. GPT-5
68.2% 2024-07
8. Claude Opus 4
62.7% 2024-07

为什么重要

最贴近企业级 Agent 部署——模拟航空公司和零售客服场景,Agent 需要遵循公司政策、查数据库、完成操作。

构建方式与示例

航空 390 + 零售 557 tasks。例如:“客户要求退改签,检查退款政策 → 查订单 → 计算退款金额 → 执行退款”

最新进展

  • 2026-01:Claude Sonnet 4.5 在零售领域突破 80%,达到 86.2%
  • 2026-01:Claude 3.7 Sonnet 紧随其后,达到 81.2%
  • Claude 系列全面超越其他模型,Anthropic 在工具使用 Agent 领域优势明显

关键发现

  • Claude Sonnet 4.5 (86.2%) 在零售领域大幅领先其他模型
  • Claude 系列霸榜前 5 名,Anthropic 在工具使用 Agent 领域优势显著
  • GLM-4.5 (79.7%) 是非 Claude 模型中的最佳表现
  • 相比 2024 年数据(GPT-5 68.2%),头部模型已提升约 18 个百分点

关联基准

  • BFCL:函数调用评测
  • AgentBench:多环境 Agent 评测
  • VAKRA:企业级多跳工具调用

不足与展望

  • 仅有航空和零售两个行业场景,泛化性待验证
  • 评测任务可能存在简化,与真实客服场景有差距
Agent 客服 真实场景 工具使用 多轮对话