为什么重要
当前 LLM 代理在软件工程、深度研究、GUI 自动化等多个领域表现优异，近期的代理框架正日益将这些能力整合为统一系统。然而现有评测大多仍孤立地测试各项能力，未能覆盖需要代理组合多种能力的多样化实际用例。CocoaBench 填补了这一空白，专门评测代理在真实场景中灵活调度视觉、搜索和编程能力的综合表现。
核心设计
CocoaBench 由人工设计的长时间跨度任务组成，每个任务仅由一条指令和一个自动评估函数定义。任务要求代理灵活组合视觉、搜索和编程三大核心能力。论文同时提出了 CocoaAgent 轻量级共享代理框架，支持在不同模型骨干间进行受控对比实验。
关键发现
最佳系统成功率仅 45.1%，表明当前代理在统一场景下远未达到可靠水平。主要瓶颈集中在推理与规划、工具使用与执行、视觉定位三个方面。