返回评测
Agent Agent-通用助手 未饱和 模态 · 文本 任务 · 开放生成

OccuBench

覆盖 100 个职业场景、65 个专业领域的 AI Agent 评测基准,通过语言世界模型模拟环境

阿里巴巴(Qwen 团队) ·

考察能力

跨行业任务执行 环境鲁棒性 故障恢复 工具使用 领域推理

构建信息

数据规模
100 个职业任务场景,10 个行业类别,65 个专业领域
构建方式
多 Agent 合成流水线 + 可解性保证 + 难度校准
评测方式
自动评估(任务完成度 + 故障注入鲁棒性)
核心指标
任务完成率 (%)

模型效果排行

🥇 GPT-5.2(最高推理努力)
最高档推理比最低档高 27.5 分 2026-04

为什么重要

AI Agent 被期望能执行从急诊分诊到核反应堆监控到海关通关等数百种专业任务,但现有评测只能覆盖少数有公开模拟环境的领域。OccuBench 的核心创新在于利用语言世界模型(LWMs)解决了”大多数职业领域缺乏模拟环境”的瓶颈,使评测可以扩展到 100 个真实职业场景。

核心设计

基准覆盖 10 个行业类别、65 个专业领域的 100 个职业任务。通过 LLM 驱动的工具响应生成来模拟特定领域环境,多 Agent 合成流水线自动生成具有可解性保证和难度校准的评测实例。评估维度包括跨职业领域的任务完成度以及受控故障注入(显式错误、隐式数据退化、混合故障)下的环境鲁棒性。

关键发现

对 15 个前沿模型(8 个家族)的评测揭示了四个关键结论:没有单一模型能主导所有行业;隐式故障(截断数据、缺失字段)比显式错误更难处理;更大模型和更高推理努力始终能提升性能;强 Agent 不一定是强环境模拟器。

Agent 职业任务 语言世界模型 鲁棒性 跨行业