为什么重要
OmniaBench 是当前覆盖领域最广、分类体系最精细的通用 Agent 评测基准。与现有 Agent 基准（GAIA、WebArena、BFCL、τ-bench 等）多在有限场景下评测不同，OmniaBench 同时覆盖 ToC（消费者）、ToB（企业）和 ToE（教育）三大场景，包含 90 个一级领域和 354 个二级领域。
OmniaBench 的两大核心创新：
- 十维能力分类：将 Agent 能力细分为规划、工具选择、参数绑定、状态追踪、约束维护、自适应修正、多轮一致性、错误恢复、信息整合、领域迁移 10 个维度
- 八因素原子难度分解：每个任务的难度可分解为推理深度、工具链长度、状态空间大小、模糊度、干扰项数量、时间依赖、跨域知识、反馈稀疏性 8 个原子因素
这使得 OmniaBench 不仅是”谁得分更高”的排行榜，更是一个诊断工具——可以精确指出模型在哪个维度上弱。
构建方式
- 领域分类构建：从 App Store、产品文档、行业资源、Web 检索中提取场景知识，经人工精炼形成层次化分类（90 L1 + 354 L2）
- 任务合成：通过 DAG（确定性任务图）、DAG-S（随机变体）、Solver（程序化验证）、Program（代码生成）四种互补路线生成任务
- 挑战子集：从完整 1,431 任务中筛选 644 个组成挑战子集（challenge subset），降低评测成本并缓解完整集发布后的潜在污染
- 可执行环境：每个任务提供真实的工具/API 环境，而非静态文本
关键发现
- 前沿模型 < 60%：Claude Sonnet 5 58.54%、GPT-5.6 Sol 57.14%，差距仅 1.4pp——在通用 Agent 能力上旗鼓相当
- 领域分化显著：模型在不同领域的表现差异大——某些领域接近 80%，另一些不到 30%
- 规划与约束维护是瓶颈：论文明确指出”规划”和”约束维护”是当前 Agent 的持续短板，与工具调用能力的发展不匹配
- 自适应修正能力不足：Agent 在遇到错误后能检测到问题，但修正方案的有效率仍然偏低
- 小模型在特定能力维度上表现出乎意料：某些维度上 7B 模型的得分与 70B+ 模型差距极小
最新进展
- 2026-07-16：arXiv 首次发布，当前仅评测 2 个前沿模型（Claude Sonnet 5、GPT-5.6 Sol）
- ⚠️ 数据口径争议（Pith 评审指出）：论文摘要中的 headline 分数存在内部不一致——Abstract 中报告的 Claude Sonnet 5 58.54%、GPT-5.6 Sol 57.14% 实为 UserTurns 列（按用户轮次计算）的数字，而正文 Table 4 的 Overall Pass@1 为 64.16% / 38.73%，两者差异显著；按任务数加权重算后约为 54.8% / 49.7%。引用 OmniaBench 分数时应明确注明采用哪一口径（Abstract UserTurns vs Table 4 Overall Pass@1），避免混用导致错误比较。
- 关键趋势：OmniaBench 的 10 维能力分类 + 8 因素难度分解设计，使其有望成为 Agent 评测领域的”诊断标准”——不仅告诉你模型好不好，还告诉你哪里不好。关注更多模型（Gemini 3.1 Pro、Opus 4.8、Qwen3.7 Max 等）的评测数据，以及作者对 headline 数字口径问题的澄清