为什么重要
MRCR 是 Google 提出的多轮检索与推理基准,与 RULER 互补:RULER 侧重单轮多样化检索,MRCR 侧重多轮对话中的信息追踪。被 AwesomeAgents 排行榜采用为核心长文本指标之一。
构建方式
- 合成多轮对话,每轮引入新信息
- 要求模型在后续轮次中准确引用前面的信息
- 动态生成,支持不同长度级别
最新进展
- 2026-09:本卡首次补入 2026 年数据,但请注意这是另一条 lane。GPT-6 Astra 在 OpenAI MRCR v2 的 512K–1M 长度档上取得 96.3%,GPT-5.6 Sol 为 73.8%。这是目前能查到的该基准最高值
- ⚠️ 四条 entries 里混了两个版本,本表按分数降序排,但排序不构成版本间的强弱结论:96.3% 与 73.8% 出自 OpenAI 的 MRCR v2 实现(512K–1M 档,2026-09 发布表),~85% 与 ~78% 出自 2025 年对原版 MRCR 的观测(且未注明长度档)。v2 与原版的题目构成、长度档与判分是否一致,本轮未能回源确认,因此不能读出”GPT-5.6 Sol 73.8% 弱于 Gemini 2.5 Pro 85%“这类跨版本结论
- ⚠️ 来源注记:两个 2026 年数值经二手转述(OpenAI 2026-09 发布对照表的转述)取得,未直接读到 OpenAI 原页。单一转述来源,待回填核对
- 一个可验证的内部事实:同一张 OpenAI 对照表里 Astra 96.3% 与 Sol 73.8% 相差 22.5pp,是 GPT-6 三档(Astra / Sol / Luna)在长上下文检索上差距最大的一项之一——长上下文检索是目前价格档位最难用低价模型替代的能力
关联基准
不足与展望
- 合成数据与真实多轮对话有差距
- 主要测检索,推理维度覆盖不足