返回评测
Agent 未饱和

HippoCamp

评估AI代理在个人电脑环境中多模态文件管理与上下文推理能力的基准

南洋理工大学 S-Lab ·

考察能力

多模态文件管理 上下文感知搜索 跨模态推理 用户画像建模

构建信息

数据规模
42.4GB文件 / 2000+文件 / 581个QA对 / 46100条标注轨迹
构建方式
基于真实用户画像的合成个人文件系统
评测方式
准确率 + 逐步失败诊断
核心指标
Accuracy

模型效果排行

🥇 最佳商业模型
48.3%(用户画像任务) 2026-04

HippoCamp 填补了 AI Agent 评测中一个重要空白:个人电脑上的多模态文件管理。与关注网页或工具调用的现有 benchmark 不同,它模拟真实用户的个人文件系统环境(42.4GB、2000+ 多模态文件),评估 Agent 在海量个人数据中的搜索、理解和推理能力。

评估维度包括四个层面:设备级文件搜索、多模态内容感知、跨文件多步推理、用户画像建模。46100 条密集标注轨迹支持逐步失败诊断,可以精确定位模型在哪个环节出错。

关键发现:最强商业模型在用户画像任务上仅达 48.3% 准确率,长程检索和跨模态推理是主要瓶颈。这说明当前 AI 还远不能胜任”个人电脑助手”这一看似简单的角色。

agent 文件管理 多模态 个人计算