为什么重要
FRAMES 评测多跳事实检索+推理——需要从多个文档中收集信息并综合推理。
构建方式与示例
824 个多跳问题。例如：“获得 2020 年菲尔兹奖的数学家在哪所大学取得了博士学位？“（需要：找到获奖者 → 查其教育背景）
关联基准与展望
关联：GAIA、BrowseComp。不足：部分答案可能过时。
返回评测
推理 综合推理 未饱和
模态 · 文本
任务 · 混合题型
FRAMES
需要模型从多个信息源综合推理的事实性问题，测试检索增强推理能力
Google DeepMind ·
考察能力
多跳推理 事实检索 RAG 信息综合
构建信息
- 数据规模
- 824 questions
- 评测方式
- 标准评测
- 核心指标
- Accuracy (%)
资源链接
模型效果排行
🥇 GPT-5 + Search
72.4%
🥈 Claude Opus 4
58.3%
🥉 GPT-4o
47.1%
多跳推理 RAG 事实性