为什么重要
LOFT 探索一个关键问题：长上下文 LLM 能否直接替代传统的 RAG pipeline？在整个语料库塞入上下文窗口后，模型的检索和推理能力如何？
返回评测
长文本 长上下文-检索 未饱和
模态 · 文本
任务 · 检索
LOFT
评测长上下文 LLM 在检索任务上能否替代传统 RAG
Google Research ·
考察能力
长文本检索 in-context 检索 信息定位
构建信息
- 数据规模
- 6 任务
- 评测方式
- 标准评测
- 核心指标
- Accuracy / NDCG
资源链接
模型效果排行
🥇 Gemini 1.5 Pro
72.5%
🥈 GPT-4o
65.3%
长文本 检索 RAG替代 in-context