返回评测
长文本 未饱和

LongBench Pro

更贴合真实场景的双语长上下文评测基准,1500 个样本覆盖 8K-256K tokens

多机构合作 ·

考察能力

长上下文理解 双语处理 多任务推理

构建信息

数据规模
1500 个样本,11 个主任务,25 个子任务
构建方式
人机协作(模型起草 + 专家验证)
评测方式
任务特定指标 + 多维分类(语境依赖/长度/难度)
核心指标
任务特定准确率

模型效果排行

🥇 46 个长上下文模型
有效长度通常短于声明长度 2026-01

LongBench Pro 是 LongBench 系列的全面升级,提供更贴合真实场景的双语长上下文评测。基准包含 1500 个自然长语境样本(中文+英文),输入长度从 8K 到 256K tokens,涵盖 11 个主任务和 25 个子任务。采用人机协作构建流程——模型起草后由专家严格验证,平衡质量与可扩展性。

通过评估 46 个主流长上下文模型,LongBench Pro 得出三个重要发现:(1) 长上下文优化比参数扩展对理解能力的贡献更大;(2) 有效上下文长度通常短于声明值,且存在显著的跨语言错位;(3) “思维”模式主要有利于原生推理训练的模型。多维分类体系(完全/部分语境依赖、6 级长度、4 级难度)支持细粒度分析。

长上下文 双语 中英文 多任务