为什么重要
τ-bench 是第一个严格模拟真实企业客服工作流的 Agent 评测。它不仅要求调用正确的 API，还要遵循复杂的业务规则（退货政策、航班改签规则等），反映了 LLM Agent 在企业落地中的真实挑战。
构建方式
- 定义零售（Retail）和航空（Airline）两个领域
- 构建包含数据库、API、业务规则的模拟环境
- 使用 LLM 模拟用户与 Agent 交互
- 通过数据库状态验证操作正确性
任务示例
场景：用户要求退换一件已过退货窗口期的商品，但声称有质量问题。Agent 需查询订单、检查退货政策、判断例外情况。
关键发现
- 即使最强模型成功率也仅约 50%
- 业务规则遵循是最大失败来源
- 多轮对话中的状态一致性是关键挑战
关联基准
- AgentBench：综合 Agent 评测
- AgentBoard：Agent 诊断面板
- ToolBench：工具使用
不足与展望
- 场景覆盖有限（两个领域）
- 模拟用户可能不够真实
- 但企业客服 Agent 评测方向非常重要