为什么重要
τ²-Bench 是 τ-bench 的直接继任者，核心创新在于双控交互（Dual-Control）——不仅 Agent 可以调用工具，用户（模拟器）也可以操作共享环境。这更贴近真实客服场景：用户需要切换飞行模式、读出状态栏信息，Agent 需要从不完整信息中引导排障。
τ²-Bench 解决了 τ-bench 的两大痛点：(1) 用户模拟器错误率高达 40-47%（12-13% 为任务关键错误），τ²-Bench 将电信领域模拟器错误率降至 16%（6% 关键）；(2) 新增电信故障排查领域，覆盖套餐办理、流量查询、网络排障、国际漫游等真实场景。
构建方式
- 三大领域：航空（50 tasks）、零售（115 tasks）、电信（114 tasks，新增）
- 双控模式：Agent 和用户均可调用工具、修改状态、验证结果
- 形式化为 Dec-POMDP：分散式部分可观测马尔可夫决策过程
- 5 种自动校验：
db_check：数据库最终状态是否正确tool_call：工具调用顺序、参数、次数是否正确policy_check：是否违反业务规则goal_check：用户核心需求是否达成dialogue_check：回复是否准确、合规、自然
- 每领域有独立业务策略、工具集、数据库、任务集
任务示例
航空：“客户要求改签航班，检查改签政策 → 查订单 → 计算差价 → 执行改签” 零售：“客户投诉商品损坏，检查退货政策 → 查订单 → 确认收货状态 → 执行退款” 电信（新增）：“用户报告无法上网，引导用户检查飞行模式 → 查询套餐余量 → 远程重置网络 → 确认恢复”
关键发现
- Claude 系列持续领先：Opus 4.6 以 91.9% 领先，Opus 4.5 以 88.9% 紧随
- Step 3.5 Flash 惊艳表现：88.2% 超越多个更大模型，小模型在工具使用上效率优势明显
- Gemma 4 31B 突破：从上一代 6.6% 飙升至 86.4%，Google 开源模型在 Agent 能力上进步巨大
- 电信领域最具挑战：用户需配合操作的排障流程，当前模型 pass rate 显著低于航空/零售
- 用户模拟器质量决定评测可信度：τ-bench 航空模拟器错误率 47% → τ²-Bench 电信仅 16%
- 策略遵循是核心区分度：模型容易违反业务规则（如超额退票、禁售品销售）
最新进展
- 2026-04：蚂蚁集团 Ling-2.6-flash 在 τ²-Bench 达同尺寸最佳，Gemma 4 31B 从 6.6% 提升至 86.4%
- 2026-03：美团 LongCat-Next 在零售场景达 73.68%
- 2026-02：Step 3.5 Flash 以 88.2% 进入 Top 3，开源模型在工具使用基准上追赶闭源
- 2026-02：GLM-5 发布，τ²-Bench 达 85.3%，智谱 AI 旗舰模型在 Agent 评测中表现突出
- 2026-01：Claude Opus 4.6 以 91.9% 领先，在零售/电信领域均超 90%
- 关键趋势：τ²-Bench 已成为衡量对话 Agent 策略遵循能力的标准基准；开源模型（Step、Gemma、GLM）快速追赶；电信领域仍是最难的评测维度
与 τ-bench 和 τ³-Bench 的关系
- τ-bench（初代）：仅航空/零售，单控模式（仅 Agent 有工具），用户模拟器错误率高
- τ²-Bench（二代）：新增电信领域 + 双控模式 + 修复模拟器，当前最广泛采用的版本
- τ³-Bench（三代）：扩展到长时域多步工具调用，评测更复杂的工作流能力
三者互补，共同构成企业级对话 Agent 能力评测体系。
关联基准
- TAU-bench：初代，聚焦航空/零售客服
- TAU3-Bench：三代，长时域工作流评测
- BFCL：函数调用评测
- MCP-Atlas：MCP 工具编排评测
- Toolathlon：工具调用十项全能评测
不足与展望
- 279 个任务偏少，细分到每个领域/难度更少
- 用户模拟器在电信领域仍有 16% 错误率
- 目前主要评测英文客服场景，中文/多语言覆盖不足
- Telecom 领域仅 114 tasks 采样自 2,285 候选，可能存在采样偏差
- τ³-Bench 的发布可能逐步替代 τ²-Bench 作为主要评测标准