HippoCamp 填补了 AI Agent 评测中一个重要空白:个人电脑上的多模态文件管理。与关注网页或工具调用的现有 benchmark 不同,它模拟真实用户的个人文件系统环境(42.4GB、2000+ 多模态文件),评估 Agent 在海量个人数据中的搜索、理解和推理能力。
评估维度包括四个层面:设备级文件搜索、多模态内容感知、跨文件多步推理、用户画像建模。46100 条密集标注轨迹支持逐步失败诊断,可以精确定位模型在哪个环节出错。
关键发现:最强商业模型在用户画像任务上仅达 48.3% 准确率,长程检索和跨模态推理是主要瓶颈。这说明当前 AI 还远不能胜任”个人电脑助手”这一看似简单的角色。