为什么重要
VitaBench 是美团 LongCat 团队联合复旦大学在 ICLR 2026 发布的 Agent 评测基准，针对的是 LLM-based Agent 在真实生活服务场景（外卖配送、到店消费、在线旅游）中的能力评测。
它解决了现有 Agent 评测基准的三个根本性短板：
- 工具生态过于简单：早期基准（ToolBench、Gorilla）只看函数调用准确性，忽略工具间依赖
- 信息密度不足：τ-bench 之类依赖冗长 Policy 文档，限制 Agent 自主探索
- 交互动态性缺失：没有把用户作为环境的一部分处理
VitaBench 的关键创新在于将智能体任务复杂度系统拆解为三大维度：
- 推理复杂度：需要整合的环境信息量
- 工具复杂度：工具建模为图后的节点数与边密度
- 交互复杂度：用户行为属性与多轮对话的动态性
构建方式
场景与工具
覆盖三大生活服务高频场景：
| 场景 | 任务类型 | 工具特点 |
|---|---|---|
| Delivery（外卖） | 下单、查询、退款 | 商家-商品-配送三层结构 |
| In-store（到店） | 排号、点餐、结账 | 时空位置敏感 |
| OTA（在线旅游） | 酒店、机票、行程 | 跨域组合 |
66 个 API 工具，通过有向依赖图建模前后置条件，规则直接编码在工具结构中（消除 Policy 文档），迫使 Agent 通过工具描述自主推理领域逻辑。
任务构造
- 400 个任务：100 跨场景任务（主结果）+ 300 单场景任务
- 每个任务独立环境：标注用户画像、时空上下文、含干扰项的服务数据库、交易历史
- 任务源自多个真实用户请求的组合合成
- 经多轮人工验证确保清晰度，同时保留多个有效解
评测器
- 基于 Rubric 的滑动窗口评估器：将任务目标拆解为原子化评估准则
- 实现细粒度的行为覆盖与可解释评估
- 支持多解路径评估，适应复杂环境和随机交互
关键发现
1. 即使 SOTA 也只能完成 1/3 跨场景任务
最强模型在跨场景任务上仅 32.5% 成功率，单场景任务也仅 60% 左右。绝对成功率极低，表明 Agent 在真实部署场景中仍有大量提升空间。
2. 跨场景性能断崖式下跌
- 单场景：最优模型 62.0%
- 跨场景：最优模型仅 32.5%
- 跌幅近 30pp
性能下降源于领域切换、工具选择扩展、长程协调三大挑战的叠加。
3. 推理错误是主导失败原因
错误分析显示，推理错误占主导，揭示了当前 Agent 在多维信息整合、策略调度与自我反思方面的根本性短板。
4. 模型排名相对稳定
跨场景与单场景的模型相对排名基本保持一致——强模型在两个维度上都强，但绝对水平均偏低。
5. 性能断档明显
Top 1 (32.5%) 与 Top 8 (~10%) 差距约 20pp，头部模型聚集，但中尾部能力差异巨大，反映 Agent 能力仍在快速分化。
排行榜（2026-01-22 最新数据）
Thinking Models
| 排名 | 模型 | Cross-Scenarios @4 | Delivery | In-store | OTA |
|---|---|---|---|---|---|
| 1 | Gemini-3-Flash (high) | 32.5 | 63.0 | 7.0 | 58.3 |
| 2 | Gemini-3-Pro (high) | 31.5 | 59.0 | 10.0 | 62.0 |
| 3 | LongCat-Flash-Thinking-2601 | 29.3 | 60.0 | 8.0 | 52.0 |
| 4 | Claude-4.5-Opus | 28.5 | 52.0 | 8.0 | 60.5 |
| 5 | o3 (high) | 26.3 | 51.0 | 6.0 | 51.3 |
| 6 | GPT-5.2 (xhigh) | 24.3 | 55.0 | 2.0 | 52.5 |
| 7+ | DeepSeek-V3.x | ~20+ | — | — | — |
| 末尾 | Qwen3-Max-Thinking | ~10+ | — | — | — |
注：原始排行榜还包含 Non-Thinking 模型分组，本表仅列 Top 类。完整数据见官方排行榜。
关键观察
- Google Gemini-3 系列领跑：Flash 与 Pro 占据前二，Flash 在跨场景上反超 Pro
- 美团自研 LongCat-Flash-Thinking-2601 居第三，作为内场模型表现优异
- Claude-4.5-Opus 在 OTA 场景（62.0%）反超 Gemini-3-Pro
- OpenAI o3 与 GPT-5.2 居中游，xhigh 推理努力未能显著拉开差距
- 中国模型 DeepSeek/Qwen 居中下游，Qwen3-Max-Thinking 出现明显掉队
任务示例
跨场景任务（典型示例）：
用户中午想吃潮汕牛肉火锅，下午 2 点要去机场接人，晚上 8 点要参加朋友生日聚会。 任务：选择餐厅并完成下单、安排接机路线、推荐生日礼物。
关键挑战：
- 时空推理：午饭后到 2 点之间只能选 1 小时车程内的餐厅
- 隐式约束：朋友喜欢红酒（历史画像推断）→ 礼物搜索方向
- 工具协调：需要在 Delivery/OTA/In-store 三大类工具间切换
- 多轮对话：用户可能在过程中修改需求（“改到海底捞吧”）
与同类基准的对比
| 维度 | τ-bench | ToolBench | Gorilla | VitaBench |
|---|---|---|---|---|
| 工具数 | <10 | 16000+ | 16000+ | 66 (结构化) |
| 工具依赖建模 | ✗ | ✗ | ✗ | ✓ (有向图) |
| 多轮对话 | ✓ | ✗ | ✗ | ✓ |
| 用户模拟器 | ✓ | ✗ | ✗ | ✓ (LLM 驱动) |
| 跨场景 | ✗ | ✗ | ✗ | ✓ |
| 真实业务数据 | 部分 | ✗ | ✗ | ✓ (美团脱敏) |
| 任务复杂度建模 | ✗ | ✗ | ✗ | ✓ (三维度) |
局限性
- 场景局限于生活服务：医疗、法律、教育等关键领域未覆盖
- 美团作为厂商主导：需关注是否被独立第三方验证
- 任务规模有限：400 任务相对其他基准较少
- 依赖 LLM 评判：Rubric 评估器对评判模型质量敏感
- 跨语言支持有限：英文版本（2025-11）刚发布，跨语言一致性待验证
最新进展
- 2026-01-22：Qwen3-Max-Thinking 团队在 VitaBench 上评估，公布 4 领域平均分（具体分数未公开）
- 2026-01：VitaBench 正式被 ICLR 2026 接收
- 2026-01：发布更新版基准（修正数据集、升级评估模型、扩展评测范围）
- 2025-11：英文版 VitaBench 数据集发布，便于国际研究使用
- 2025-10：代码库、数据集、评估流水线全栈开源
关联基准
- τ-bench：τ 系列对话 Agent 评测起点
- τ²-Bench：双控交互对话 Agent
- τ³-Bench：τ 系列最新版本
- ToolBench：工具调用准确率评测
- WildClawBench：原生运行时长期 Agent
- Claw-Eval：阿里通义 Claw 系列
不足与展望
- 跨场景任务仅 100 题，统计置信度有限
- 复杂度维度划分（推理/工具/交互）需要更多基准验证通用性
- 商业场景与学术研究关注的差距问题（成本、延迟、失败容忍度）尚未量化
- 未来可能扩展至金融、教育、医疗等更关键场景
- 美团内部 Agent 已使用 VitaBench 进行能力评估，关注其方法论是否被业界广泛采纳