为什么重要
最贴近企业级 Agent 部署——模拟航空公司和零售客服场景,Agent 需要遵循公司政策、查数据库、完成操作。
构建方式与示例
航空 390 + 零售 557 tasks。例如:“客户要求退改签,检查退款政策 → 查订单 → 计算退款金额 → 执行退款”
最新进展
- 2026-01:Claude Sonnet 4.5 在零售领域突破 80%,达到 86.2%
- 2026-01:Claude 3.7 Sonnet 紧随其后,达到 81.2%
- Claude 系列全面超越其他模型,Anthropic 在工具使用 Agent 领域优势明显
关键发现
- Claude Sonnet 4.5 (86.2%) 在零售领域大幅领先其他模型
- Claude 系列霸榜前 5 名,Anthropic 在工具使用 Agent 领域优势显著
- GLM-4.5 (79.7%) 是非 Claude 模型中的最佳表现
- 相比 2024 年数据(GPT-5 68.2%),头部模型已提升约 18 个百分点
关联基准
- BFCL:函数调用评测
- AgentBench:多环境 Agent 评测
- VAKRA:企业级多跳工具调用
不足与展望
- 仅有航空和零售两个行业场景,泛化性待验证
- 评测任务可能存在简化,与真实客服场景有差距