为什么重要
The Pile 汇集 22 个高质量数据源（学术论文、代码、法律文本、维基等），是开源 LLM 研究的标准训练语料。在各子域的 PPL 被用作模型知识覆盖的评测指标。
返回评测
数据 数据-预训练 未饱和
模态 · 文本
任务 · 混合题型
The Pile
825 GB 多源语料库，开源 LLM 训练的标准数据集
EleutherAI ·
考察能力
语言建模 多领域理解 知识密度
构建信息
- 数据规模
- 825 GB
- 评测方式
- PPL per domain
- 核心指标
- Perplexity
资源链接
模型效果排行
🥇 LLaMA 3
varies by domain
🥈 GPT-NeoX
varies by domain
预训练数据 语言建模 多领域 开源