为什么重要
L-Eval 将长文本评测分为封闭式（有答案）和开放式（摘要/翻译），更细致评估不同类型的长文本能力。
构建方式与示例
411 个长文本任务，平均 7-60K words。例如封闭式：“在这篇 30K 词的论文中，作者第二个实验的控制变量是什么？“
返回评测
长文本 长上下文-理解 未饱和
模态 · 文本
任务 · 选择 / 判断
L-Eval
411 个长文本任务，覆盖封闭式（精确答案）和开放式（摘要/翻译），评估不同长度的理解能力
Fudan ·
考察能力
长文本QA 摘要 翻译 多步推理
构建信息
- 数据规模
- 411 questions / 平均 7-60K words
- 构建方式
- 从真实长文档构建
- 评测方式
- 精确匹配 + LLM Judge
- 核心指标
- 综合得分
模型效果排行
🥇 GPT-4 Turbo
~60% 封闭题 2024-01
长文本 摘要 QA