返回评测
长文本 长上下文-检索 未饱和 模态 · 文本 任务 · 检索

MRCR

Google 提出的多轮检索与推理基准,评估模型在长对话中追踪信息并推理的能力

Google ·

考察能力

多轮检索 信息追踪 长对话理解

构建信息

数据规模
动态生成
构建方式
合成
评测方式
精确匹配
核心指标
Accuracy (%)

资源链接

模型效果排行

🥇 GPT-6 Astra (OpenAI, OpenAI MRCR v2 实现 · 512K–1M 档, 2026-09 发布表)
96.3% 2026-09
🥈 Gemini 2.5 Pro (Google, 原版 MRCR, 长度档未注明)
~85% 2025-11
🥉 Claude Opus 4 (Anthropic, 原版 MRCR, 长度档未注明)
~78% 2025-12
4. GPT-5.6 Sol (OpenAI, OpenAI MRCR v2 实现 · 512K–1M 档, 2026-09 OpenAI 对照表)
73.8% 2026-09

为什么重要

MRCR 是 Google 提出的多轮检索与推理基准,与 RULER 互补:RULER 侧重单轮多样化检索,MRCR 侧重多轮对话中的信息追踪。被 AwesomeAgents 排行榜采用为核心长文本指标之一。

构建方式

  1. 合成多轮对话,每轮引入新信息
  2. 要求模型在后续轮次中准确引用前面的信息
  3. 动态生成,支持不同长度级别

最新进展

  • 2026-09:本卡首次补入 2026 年数据,但请注意这是另一条 lane。GPT-6 Astra 在 OpenAI MRCR v2 的 512K–1M 长度档上取得 96.3%,GPT-5.6 Sol 为 73.8%。这是目前能查到的该基准最高值
  • ⚠️ 四条 entries 里混了两个版本,本表按分数降序排,但排序不构成版本间的强弱结论:96.3% 与 73.8% 出自 OpenAI 的 MRCR v2 实现(512K–1M 档,2026-09 发布表),~85% 与 ~78% 出自 2025 年对原版 MRCR 的观测(且未注明长度档)。v2 与原版的题目构成、长度档与判分是否一致,本轮未能回源确认,因此不能读出”GPT-5.6 Sol 73.8% 弱于 Gemini 2.5 Pro 85%“这类跨版本结论
  • ⚠️ 来源注记:两个 2026 年数值经二手转述(OpenAI 2026-09 发布对照表的转述)取得,未直接读到 OpenAI 原页。单一转述来源,待回填核对
  • 一个可验证的内部事实:同一张 OpenAI 对照表里 Astra 96.3% 与 Sol 73.8% 相差 22.5pp,是 GPT-6 三档(Astra / Sol / Luna)在长上下文检索上差距最大的一项之一——长上下文检索是目前价格档位最难用低价模型替代的能力

关联基准

不足与展望

  • 合成数据与真实多轮对话有差距
  • 主要测检索,推理维度覆盖不足
长文本 多轮 检索