返回评测
Agent Agent-深度研究 已饱和 模态 · 文本 任务 · 开放生成

GAIA

466 个真实世界任务，人类 92%，GPT-4 仅 15%；2026-10 官方测试集榜首 Shadow Harness V8.01 已达 94.0%，首次超过人类基线，测试集判定为已饱和

Meta FAIR & HuggingFace ·

考察能力

多步推理 工具使用 多模态

构建信息

数据规模
466 questions
评测方式
标准评测
核心指标
Accuracy (%)。⚠️ 本榜存在三条互不相同的 lane：官方全系统榜（多模型集成，92–94%）、Princeton HAL 标准化框架榜（74.6%）、裸模型榜（约 52%）。topResults 按分数降序混排三条 lane，每条都已在括号内标注归属，跨 lane 比较没有意义

资源链接

论文: arXiv:2311.12983

模型效果排行

🥇 Shadow Harness V8.01 (官方测试集榜头名, 全系统, 2026-10-12 提交; 首个超过人类 92% 基线的条目)
94.0% 2026-10
🥈 Ops-Agentic-Search-2.0 (全系统; 与 3 月版 OPS-Agentic-Search 同系列迭代)
93.7% 2026-10
🥉 OPS-Agentic-Search (多模型集成, 全系统)
92.4% 2026-05
4. openJiuwen-deepagent (多模型集成, 全系统)
92.4% 2026-05
5. Nemotron-ToolOrchestra (NVIDIA, 8B 路由模型编排前沿模型, 全系统, 官方值 90.37%)
90.4% 2026-05
6. HAL Agent + Claude Sonnet 4.5 (标准化框架 lane; 比全系统 lane 低约 18pp，差的是脚手架不是模型)
74.6% 2026-05
7. Claude Mythos 5 (裸模型 lane, BenchLM, 无脚手架)
52.3% 2026-07
8. Claude Fable 5 (裸模型 lane, BenchLM, 无脚手架)
52.3% 2026-07

为什么重要

GAIA 揭示了一个残酷事实：人类觉得简单的任务，LLM 完成得很差。人类准确率 92%，GPT-4 仅 15%。差距不在知识，而在工具使用和多步操作。这使 GAIA 成为衡量”通用 AI 助手”实用性的核心基准。

构建方式

  1. 由 Meta FAIR 和 HuggingFace 的研究员设计 466 个任务
  2. 每个任务都有一个精确的、无歧义的答案
  3. 分三级难度：Level 1（1-5 步）、Level 2（5-10 步）、Level 3（10+ 步）
  4. 任务可能需要：搜索网页、读取文件（PDF/Excel）、执行代码、多步推理

任务示例

Level 1：“2023 年诺贝尔化学奖得主的大学本科毕业于哪所学校？“（需要搜索→找到人→找到教育背景） Level 2：“下载这个 Excel 文件，找出第三列中最大的数，然后计算它的平方根保留两位小数”（需要下载→解析→计算） Level 3：“根据这篇 PDF 论文中的实验数据，重新计算 Table 3 的最后一列，看是否与论文一致”（需要 PDF 解析→理解实验→重新计算→比对）

最新进展

  • 2026-10-12：GAIA 测试集首次被超过人类基线。官方 HuggingFace 测试集榜的最新提交 Shadow Harness V8.01 达到 94.0%，高于本基准自己发布的人类基线 92%；第二名 Ops-Agentic-Search-2.0 为 93.7%。至此本基准测试集正式判定已饱和——这与 OSWorld-Verified（头名 90.19% vs 人类 72.36%）走完了同一条路：当最好的系统越过人类线，区分前沿系统的任务就交给了长程套件。GAIA 自己的后继者 GAIA2（Meta，ICLR 2026，800 个场景 / 模拟智能手机环境 / 时间压力与歧义）正是对这一饱和的直接回应，其头名 Claude Opus 4.6 只有 57%
  • 2026-10：三条 lane 的当前值互不通约，读榜前先认 lane：官方全系统测试集榜 94.0%（多模型集成、自报提交）、Princeton HAL 标准化框架榜 74.55%（HAL Generalist Agent + Claude Sonnet 4.5，验证集）、裸模型榜约 52.3%（BenchLM，Claude Mythos 5 / Fable 5）。同一基准三个数字跨度 42pp，差的是”包在模型外面那层东西”
  • 2026-05：GAIA 三层评测体系成熟——全系统排行（OPS-Agentic-Search/openJiuwen 92.4%）、标准化框架排行（HAL + Claude Sonnet 4.5 74.6%）、裸模型排行（Claude Mythos Preview 52.3%），三层差距达 30-40pp
  • 2026-05：NVIDIA Nemotron-ToolOrchestra 以 90.4% 进入全系统排行 Top 3，多模型编排成为标配
  • 2026-05：Princeton HAL 排行榜暂停新增模型，聚焦可靠性评测而非原始精度追踪
  • 2026-05：Leni Agent 以 77.6% (128/165) 创 GAIA validation 新高，超越 Genspark (75.4%) 和 Manus (73.4%)，其架构创新包括：planner-executor 分离 (+10pp)、跨厂商模型路由 (+4pp)、逐步验证 (+3.6pp)
  • 2026-05：Level 3 (10+工具调用) 领域差距明显：Leni 61.5%，Genspark 58.8%，Manus 57.7%，OpenAI Deep Research 47.6%
  • 2026-06：aiwiki.ai 综合分析 GAIA 排行，指出验证集数据污染严重，约 5% 的标准答案存在错误或歧义；全系统排行中多模型编排（GPT-5 + Gemini + Claude + DeepSeek 动态路由）成为 Top 系统标配
  • 2026-06：RapidClaw.dev 发布 GAIA 深度分析，确认三层评测体系是理解 GAIA 排行榜的关键——同基准、三套数字、一个重要教训：脚手架效应比模型差异更大（30pp vs 5pp）
  • 2026-06：BenchLM 镜像 GAIA 快照至 26 模型（截至 5 月 27 日），裸模型排行 Claude Mythos Preview 52.3% 领先，GLM-5 33.8%、Llama 4 Behemoth 34.2%
  • 2026-06：OpAgent (Qwen3-VL-32B + RL) 在 WebArena 相关评测中达 71.6%，GAIA + WebArena 共同推动 Web Agent 能力评估进步
  • 关键发现：框架效应 30pp——同一模型在 HAL 框架下 vs 裸调用差距巨大；跨厂商模型路由成为新范式；openJiuwen 开源项目推动 Agent 民主化；验证集已广泛泄漏到训练数据中；Level 3 是区分 Agent 框架优劣的关键维度
  • 2026-04：RapidClaw.dev 综合数据：Princeton HAL 排行榜中 Claude Sonnet 4.5 (74.6%) 领先，Anthropic 占据 Top 6 全部席位（Opus 4.5 73.2%、OWL 开源 69.1% 排名 #3 是 HAL 唯一非 Claude 模型）
  • 2026-07-09：BenchLM 更新 GAIA 追踪数据至 27 模型——Claude Mythos 5 / Fable 5 并列 52.3%（裸模型排行榜#1），GPT-5.4 Pro 50.5% 第三，Claude Opus 4.6 47.8% 第四；Mythos/Fable 5 vs GPT-5.4 Pro 差距仅 1.8pp，裸模型 Top 3 高度压缩
  • 2026-07-09：GPT-5.6 Sol/Terra/Luna 全面 GA——OpenAI 未公布 GAIA 成绩，但 Price Per Token 裸模型排行中 GPT-5 Mini 44.8% 居首（裸模型），Gemini 2.5 Pro 33.3% 紧随；GPT-5.6 是否参与 GAIA 待确认
  • 关键趋势：GAIA”3 套数字”框架（全系统 92.4% / 标准化 HAL 74.6% / 裸模型 52.3%）已成为 Agent 评测的教科书案例——同一基准因”模型 vs 系统”视角产生 40pp 差距；BenchLM 裸模型排行显示 Anthropic 仍占据 Top 2（Mythos 5 / Fable 5 52.3%），但 Top 3 差距已压缩至 1.8pp；GAIA 评估范式正从”模型排名”彻底转向”系统编排能力评测”
  • 2026-07：Dreaming Press 发表 GAIA 深度分析——“The Benchmark That Stopped Measuring Your Model”成为经典标题；核心论点：GAIA 排行榜上的 ~47pp 差距（裸模型 52.3% vs 全系统 92.4%）不是模型的进步，是脚手架的贡献；“选模型看裸模型排行，选 Agent 看全系统排行”
  • 2026-07-09：GPT-5.6 Sol 以 53.6% 的 Agents Last Exam（跨 55 行业长程 Agent 工作流）成绩展示了 OpenAI 的新 Agent 评测策略——放弃 GAIA 转向行业专用长程评测；OpenAI 选择”逃离 GAIA 拥挤赛道”是值得关注的信号
  • 2026-07：rapidclaw.dev 整理的”3 套数字”框架成为社区共识——同基准 3 套数字（HAL scaffolded 74.6% / BenchLM 52.3% / Price Per Token bare 44.8%）显示脚手架效应比模型差异大 6 倍，30pp 框架加成 vs 5pp 模型差异
  • 2026-07：GAIA 评估范式正从”模型评测”转向”系统评测”——9 成 Top 10 系统是多模型编排（GPT-5 + Gemini + Claude + DeepSeek 动态路由），单纯模型排名已不能反映生产可用性
  • 关键趋势：GAIA 已成为多模型 Agent 系统编排的”展示窗口”，单模型能力的边界已被框架/工具/路由抹平；下一步 GAIA 评估的关键不是 SOTA 多高，而是如何设计能区分系统范式（如 planner-executor 分离 vs 端到端 multi-agent）的子基准
  • 2026-07-16：Kimi K3 (2.8T MoE) 发布，在 Agent 评测上全面领先——GDPval-AA 1687 Elo（超越 Claude Opus 4.8 Max 1600）、AA-Briefcase 1527（K2.6 811 的近 2 倍）、BrowseComp 91.2%（仅次于 GPT-5.6 Sol 92.2%），但月之暗面未公布 GAIA 专项成绩；K3 的”从回答问题到完成任务”定位与 GAIA 评测目标高度一致，猜测其在全系统排行中有望进入 90%+ 区间
  • 2026-07-21：Gemini 3.6 Flash 发布，OSWorld-Verified 83.0%（从 3.5 Flash ~40% 翻倍）、MLE-Bench 63.9%、DeepSWE v1.1 49%，Agent 能力大幅跃升；但 Gemini 3.6 Pro/Flash 均沿用谷歌”不公开 GAIA 成绩”策略——GAIA 作为谷歌系模型的最弱项继续被回避
  • 关键趋势：GAIA 的”3 套数字”框架（全系统 92.4% / HAL 74.6% / 裸模型 52.3%）已成为 Agent 评测方法论的核心贡献——Dreaming Press 将其归纳为”GAIA 不再评测模型，它评测的是你包在模型外面的东西”；随着 OSWorld / MLE-Bench / Terminal-Bench / BrowseComp 等专业化 Agent 基准涌现，GAIA 作为”通用助手评测”的角色正被分流；但 GAIA 揭示的”脚手架效应比模型差异大 6 倍”这一洞见，将长期影响 Agent 系统的工程实践

关键发现

  • 人类 92% vs GPT-4(无工具) 15% vs GPT-5(有工具) 56.8%
  • 工具使用是关键差距：同一模型有无工具差距可达 3-4 倍
  • Level 3 任务最能区分 Agent 框架的优劣

关联基准

不足与展望

  • 466 题偏少，细分到每个难度级别更少
  • 任务更新频率低，存在数据污染风险
  • 没有评测任务失败后的恢复能力（模型卡住后怎么办）
Agent 通用助手 真实世界 多步推理 多模型编排 已饱和