为什么重要
AgentBench 是首个系统性评估 LLM 作为 Agent 在多种交互环境中表现的综合基准。覆盖 8 种截然不同的环境（操作系统、数据库、知识图谱、家居、网页购物等），揭示了 LLM 在”做事”上的真实能力。
构建方式
- 设计 8 个独立交互环境：OS、DB、KG、Digital Card Game、Lateral Thinking、House-Holding、Web Shopping、Web Browsing
- 每个环境有独立的 action space 和 reward function
- 模型以 ReAct 模式运行（思考→行动→观察循环）
- 总计 1091 个任务，支持多轮交互
任务示例
OS 环境：“在 Linux 系统中，找到 /var/log 下占用空间最大的日志文件并压缩它” Web Shopping：“在网上商城找到价格低于 $50 的蓝牙耳机，要求评分 4 星以上” DB 环境：“查询数据库找出 2023 年销量最高的产品类别”
关键发现
- GPT-4 在所有环境中显著领先开源模型（平均高 20%+）
- OS 和 DB 环境模型表现最好（结构化操作），Web 环境最差（需要 GUI 理解）
- 商业模型和开源模型差距在 Agent 任务上比在知识问答上大得多
关联基准
- GAIA：更侧重多步推理的通用 Agent
- WebArena：AgentBench Web 环境的深化版
- OSWorld：AgentBench OS 环境的深化版
- TAU-bench：专注客服场景的工具使用
最新进展
- 2026-04：Claude Opus 4.7 发布，在 Agent 任务上有显著提升（待官方评测数据）
- 2025-11：OpenAI 的 Agent-CUA 在 WebArena 上达到 58.1%，展示推理模型的 Agent 潜力
不足与展望
- 8 个环境中有些偏简单（如 card game），与真实工作距离较远
- 没有长期任务（所有任务都在几分钟内完成）
- 多 Agent 协作场景未覆盖——后续 ChatDev Eval 和 MetaGPT 在填补这个空白