为什么重要
Penn Treebank 是语言建模领域使用时间最长的基准（30+ 年）。定义了以困惑度（Perplexity）评测语言模型的标准范式。同时是句法分析（parsing）的金标准语料。
主要发现
- 从 n-gram 到 LSTM 到 Transformer，每代架构都在 PTB 上验证
- PPL 从三位数降到个位数，标志语言建模能力的质变
返回评测
综合 综合-通用能力 已饱和
模态 · 文本
任务 · 混合题型
Penn Treebank
经典语言建模基准，定义了 PPL 评测范式
University of Pennsylvania ·
考察能力
语言建模 困惑度评测 句法分析
构建信息
- 数据规模
- 1M 词
- 评测方式
- 标准评测
- 核心指标
- Perplexity (PPL)
模型效果排行
🥇 GPT-4o
<10 PPL
🥈 Transformer-XL
18.3 PPL
语言建模 PPL 经典基准 里程碑 句法