为什么重要
AI Agent 被期望能执行从急诊分诊到核反应堆监控到海关通关等数百种专业任务,但现有评测只能覆盖少数有公开模拟环境的领域。OccuBench 的核心创新在于利用语言世界模型(LWMs)解决了”大多数职业领域缺乏模拟环境”的瓶颈,使评测可以扩展到 100 个真实职业场景。
核心设计
基准覆盖 10 个行业类别、65 个专业领域的 100 个职业任务。通过 LLM 驱动的工具响应生成来模拟特定领域环境,多 Agent 合成流水线自动生成具有可解性保证和难度校准的评测实例。评估维度包括跨职业领域的任务完成度以及受控故障注入(显式错误、隐式数据退化、混合故障)下的环境鲁棒性。
关键发现
对 15 个前沿模型(8 个家族)的评测揭示了四个关键结论:没有单一模型能主导所有行业;隐式故障(截断数据、缺失字段)比显式错误更难处理;更大模型和更高推理努力始终能提升性能;强 Agent 不一定是强环境模拟器。