为什么重要
AgentBoard 不只报告一个通过率数字，它提供了细粒度的 Agent 能力诊断：子目标完成进度、错误类型分析、能力雷达图。这让研究者能精确定位模型作为 Agent 的弱项。
构建方式
- 整合 9 类 Agent 任务：Web 浏览、操作系统、数据库、知识图谱、家庭模拟等
- 每个任务分解为子目标序列
- 记录和分析 Agent 在每个子目标上的表现
- 提供交互式诊断面板
任务示例
Web 任务：“在 Reddit 上找到关于机器学习的最热帖子，总结前 5 条评论” 子目标：导航到 Reddit → 搜索 ML → 排序 → 打开帖子 → 阅读评论 → 生成摘要
关键发现
- 成功率远低于进度率——模型经常在最后几步失败
- 长程任务（>10 步）成功率急剧下降
- 开源模型在简单任务上已接近闭源，但复杂任务差距大
关联基准
- AgentBench：Agent 综合评测
- WebArena：网页 Agent
- OSWorld：桌面 Agent
不足与展望
- 环境模拟器可能不完全反映真实环境复杂度
- 子目标分解的粒度选择影响评分
- 需要更多真实世界任务