多语言预训练数据的质量鸿沟：从英语中心到千语平权
深度解读多语言预训练数据策展的五大前沿研究——JQL 框架、FineWeb2 管线、FineWeb2-HQ 模型过滤、Apple 数据质量双重挑战，以及多语言持续预训练的语言分类学
本期主题：当数据工程遇上巴别塔
过去两年，预训练数据工程领域的大部分进展——从 Data Mixing Laws 到 DataEvolve——都有一个未被充分讨论的前提：它们主要在英语数据上被验证。
这并非巧合。英语拥有最庞大的网络语料库、最完善的质量过滤工具链、最丰富的评估 benchmark。当研究者说”在 15T tokens 上训练”时，那 15T 大概率是英语或以英语为绝对主体的数据。但现实世界有 7000+ 种语言，即便只看”主流”的 100 种，数据工程的挑战也完全不同。
多语言数据的质量鸿沟是一个被长期低估的问题。它不仅仅是”数据量少”那么简单——低资源语言面临的是质量评估工具缺失、过滤规则不适配、tokenizer 效率低下、跨语言迁移不可预测等一系列系统性困难。
2025-2026 年，一批重要的研究正在从不同角度攻克这个问题。本期逐一深度解读。
重点研究解读
1. “Judging Quality Across Languages (JQL)” (EMNLP 2025)
来自 Jackal AI / Aleph Alpha 团队
核心问题：现有的多语言数据过滤方法大多依赖启发式规则（如文档长度、特殊字符比例、语言检测置信度等）。这些规则对英语效果尚可，但对其他语言——尤其是形态丰富的语言、非拉丁文字语言——往往不适用。如何构建一个真正跨语言的数据质量评估框架？
核心方法：
JQL 的方案可以概括为”LLM 蒸馏 + 多语言嵌入”的两阶段架构：
阶段 1：构建标注数据
┌──────────────────────────────────────────────┐
│ 大型 LLM（如 GPT-4）对多语言样本进行质量评分 │
│ → 生成高质量标注数据（覆盖多种语言） │
└──────────────────────────────────────────────┘
↓
阶段 2：蒸馏为轻量级分类器
┌──────────────────────────────────────────────┐
│ 预训练多语言嵌入模型（如 XLM-R）提取文档特征 │
│ + 轻量级分类器学习 LLM 的质量判断 │
│ → 可大规模部署的高效数据过滤器 │
└──────────────────────────────────────────────┘关键创新在于：蒸馏后的轻量模型展现出强大的跨语言零样本泛化能力——即使在训练阶段完全没见过某种语言或文字，也能有效评估其数据质量。这得益于预训练多语言嵌入已经编码了跨语言的语义共性。
实验结果（35 种语言）：
| 维度 | JQL vs 启发式过滤（如 FineWeb2） |
|---|---|
| 过滤精度 | 显著优于启发式方法 |
| 数据保留率 | 更高（保留了更多高质量内容） |
| 下游模型性能 | 训练质量显著提升 |
| 计算成本 | 推理时与 fastText 分类器相当 |
对实践的启示：
JQL 的最大价值在于打破了数据过滤的语言壁垒：
- 不再需要为每种语言手写规则：用 LLM 蒸馏的方法，可以用一个模型覆盖数十种语言
- 数据保留率的提升同样重要：启发式方法往往过度过滤非英语数据（因为规则不适配），JQL 通过语义级别的判断避免了这个问题
- 零样本跨语言能力意味着可扩展性：你不需要为每个新语言重新标注训练数据
- JQL 已开源（HuggingFace Spaces），可以直接用于自己的数据管线
2. “FineWeb2: One Pipeline to Scale Them All” (HuggingFace, 2025)
核心贡献：一个自动适配所有语言的预训练数据处理管线。
FineWeb（英语版）是目前最成功的开源预训练数据集之一。FineWeb2 将其核心理念扩展到了 1000+ 种语言，规模达到 20TB / 50 亿文档，来源于近 100 个 Common Crawl 快照。
技术亮点：
与传统的”一套规则打天下”或”为每种语言手工调参”不同，FineWeb2 的管线设计了一种自动适配机制：
- 语言感知的过滤参数：每种语言的过滤阈值（文档长度、重复率、特殊字符比例等）会根据该语言的特性自动调整。阿拉伯语的”正常文档长度”和芬兰语的”正常文档长度”可以完全不同
- 质量 × 重复度联合重平衡：不只是简单去重，而是综合考虑文档质量和重复次数。高质量文档即使出现多次也值得保留一定比例
- 可量化的评估任务选择：为每种语言自动选择合适的评估 benchmark，避免”用英语标准衡量所有语言”的偏差
在 9 种语言上的消融实验证明，FineWeb2 管线处理的非英语语料库训练出的模型，性能优于此前所有开源替代方案。
对实践的启示：
FineWeb2 对多语言数据工程团队的直接价值：
场景 传统做法 FineWeb2 方案 新增一种语言 从头设计过滤规则 + 调参 管线自动适配 数据质量评估 借用英语 benchmark 语言特定评估 去重策略 全局 MinHash 质量感知重平衡 数据集构建 自行爬取 + 处理 直接使用 20TB 开源数据 对于资源有限的团队，直接使用 FineWeb2 是当前多语言预训练数据的最优起点。代码和数据全部开源（GitHub）。
3. “FineWeb2-HQ: Model-Based Data Selection” (EPFL, 2025)
来自 EPFL 机器学习与优化实验室（Martin Jaggi 组）
如果说 FineWeb2 解决了”如何构建大规模多语言数据集”，FineWeb2-HQ 则进一步回答了：如何从这个大集合中高效地筛选出最有价值的子集？
核心方法：
用基于 XLM-RoBERTa 嵌入的深度学习分类器对 FineWeb2 中的每个文档打分，保留每种语言质量评分最高的 top 10% 文档。分类器经过训练以识别”结构化且信息密度高”的样本。
关键结果：
性能对比（FineWeb2-HQ vs FineWeb2）：
┌──────────────────────────────────────────────┐
│ 相同 token 预算：FineWeb2-HQ 显著优于 FineWeb2 │
│ │
│ 6× 更少的 token：FineWeb2-HQ ≈ 完整 FineWeb2 │
│ └── 在 CMMLU (中文)、MMLU (德/法) 上验证 │
│ │
│ 完整训练：FineWeb2-HQ > FineWeb2 > DCLM │
│ > FineWeb-Edu │
└──────────────────────────────────────────────┘覆盖 20 种语言，总计 6TB / 3.8 亿文档。每种语言的数据量：
| 语言 | 文档数 | 大小 | 语言 | 文档数 | 大小 | |
|---|---|---|---|---|---|---|
| 🇷🇺 俄语 | 5520 万 | 1.2 TB | 🇮🇩 印尼语 | 891 万 | 125 GB | |
| 🇨🇳 中文 | 5421 万 | 784 GB | 🇹🇷 土耳其语 | 858 万 | 100 GB | |
| 🇩🇪 德语 | 4310 万 | 618 GB | 🇨🇿 捷克语 | 600 万 | 104 GB | |
| 🇪🇸 西班牙语 | 4006 万 | 515 GB | 🇸🇦 阿拉伯语 | 556 万 | 94 GB | |
| 🇯🇵 日语 | 3419 万 | 393 GB | 🇮🇷 波斯语 | 511 万 | 69 GB | |
| 🇫🇷 法语 | 3225 万 | 483 GB | 🇭🇺 匈牙利语 | 453 万 | 79 GB | |
| 🇮🇹 意大利语 | 2118 万 | 269 GB | 🇸🇪 瑞典语 | 438 万 | 61 GB | |
| 🇵🇹 葡萄牙语 | 1814 万 | 222 GB | 🇬🇷 希腊语 | 435 万 | 84 GB | |
| 🇵🇱 波兰语 | 1338 万 | 168 GB | 🇩🇰 丹麦语 | 408 万 | 61 GB | |
| 🇳🇱 荷兰语 | 1292 万 | 160 GB | 🇻🇳 越南语 | 400 万 | 59 GB |
对实践的启示：
FineWeb2-HQ 的 6× 加速效果对于多语言预训练团队意味着巨大的成本节约：
- 如果你的多语言模型训练预算是 100 万美元，用 FineWeb2-HQ 可以在 ~17 万美元的数据消耗下达到同等效果
- 对中文数据尤其值得关注——5421 万文档 / 784 GB 的高质量中文语料，质量经过模型验证
- 数据集已完全开源（HuggingFace），含质量分数和 XLM-R 嵌入向量
”数据质量”本身就是个幻觉？
4. Apple 的双重挑战：数据质量幻觉 + 双语质量鸿沟
Apple 机器学习团队在 2025-2026 年连续发表了两篇关于数据质量的重要论文，从不同角度动摇了业界对”数据质量过滤”的传统认知。
4a. “The Data-Quality Illusion” (ICLR 2026)
核心发现：分类器过滤出的”高质量”可能只是分布相似性的幻觉。
Classifier-based Quality Filtering（CQF）是目前最流行的数据过滤方法——训练一个二元分类器区分”预训练数据”和”高质量参考集”（如 Wikipedia），用分类器分数筛选预训练数据。FineWeb-Edu、DCLM 等知名数据集都基于这一范式。
Apple 的实验揭示了一个令人不安的悖论：
CQF 的承诺 vs 现实：
承诺：CQF 分数高 → 数据质量高 → 模型更好
↓
现实：CQF 分数高 → 与参考集分布更像 → 下游任务分数高
↓ ↓
但语言建模能力不一定提升 而且参考集本身也被隐性过滤了三个关键实验结论：
- CQF 提高下游分数但不提高语言建模能力：用 CQF 过滤后的数据训练的模型在 benchmark 上表现更好，但在高质量文本上的 perplexity 并没有改善。这说明模型学到的不是”更好的语言理解”，而是”更像参考集的模式”
- CQF 隐性过滤了参考集自身：分类器不仅过滤预训练数据，也会给参考集中的部分文档打低分。这暴露了 CQF 衡量的不是语言质量，而是分布距离
- 合成数据对比揭示本质：用随机 token 替换制造质量递减的合成数据，然后训练模型。合成数据的质量-性能关系与 CQF 的完全不同——说明 CQF 捕捉的不是通常意义上的”质量”
4b. “Assessing the Role of Data Quality in Training Bilingual Language Models” (Apple, 2025)
核心发现：多语言模型性能差距的根源不是数据量差距，而是数据质量差距。
这篇论文在法语、德语和中文上做了严格对照实验：
| 实验条件 | 单语性能 | 双语差距 |
|---|---|---|
| 直接混合双语数据 | 基线 | 显著退化 |
| 质量匹配后混合 | +2-4% | < 1% |
关键发现：当低资源语言的数据质量显著低于英语时，不仅低资源语言性能受限，英语性能也会被拖累。但通过简单的质量匹配过滤——仅保留与英语数据质量相当的外语数据——就能将双语性能差距缩小到 1% 以内。
两篇论文的联合启示：
Apple 的两篇论文构成了一个颇具张力的二重奏：
第一篇说：我们最常用的数据质量过滤方法（CQF）可能在衡量一个”幻觉”——分布相似性而非真正的质量
第二篇说：数据质量差距是多语言模型性能差距的根源，质量过滤至关重要
这看似矛盾，实则指向同一个结论：我们需要更好的数据质量定义和评估方法。CQF 的问题不是”过滤没用”，而是”我们过滤的标准是错的”。正确的方向可能是：
多语言持续预训练：语言也有”性格”
5. “Rethinking Multilingual Continual Pretraining” (赫尔辛基大学, 2025)
这篇论文在 3 个多语言基座模型、30+ 种语言、36 种持续预训练配置上做了迄今最系统的多语言 CPT 实验，发现了一个引人注目的现象：不同语言在跨语言迁移中表现出截然不同的”性格”。
作者基于 Yuan et al. (2024) 的分类法，将语言分为三类：
语言性格分类学（基于跨语言迁移行为）：
🤝 利他型 (Altruistic)
特征：自身被训练后，会提升其他语言的性能
但... 对"亲属语言"反而可能产生负面影响
例子：部分欧洲语言
🏠 自私型 (Selfish)
特征：训练后主要提升自身性能，对其他语言帮助有限
行为取决于具体的训练配置
例子：部分亚洲语言
🧊 停滞型 (Stagnant)
特征：无论怎么训练，性能变化都很小
但... 在特定 CPT 配置下会展现出惊人的适应性
例子：部分低资源语言其他关键发现：
| 发现 | 具体结论 | 实践指导 |
|---|---|---|
| 双语 CPT 改善分类但导致”语言混合” | 模型在生成时会混用两种语言 | 需要在生成质量上做额外把控 |
| 代码数据普遍有益 | 加入代码提高多语言分类准确率，尤其是低资源语言 | 代码是”免费的”跨语言桥梁 |
| 重度预训练模型更”顽固” | Llama 3/3.1 比 Llama 2 更难通过 CPT 扩展新语言 | 模型越大，多语言扩展的边际效益递减 |
对实践的启示：
这篇论文对正在做多语言持续预训练的团队至关重要：
- 不要假设所有语言都一样：添加法语数据可能帮到西班牙语，但添加日语数据对中文的影响不可预测
- 语言分组很关键：在设计 CPT 数据配比时，应该根据语言的”性格”分组，而不是简单按数据量分配
- 代码是万能胶水：在多语言数据中混入代码，几乎总能帮到低资源语言。这可能是因为代码提供了一种结构化的”中间表示”
- 警惕语言混合：双语 CPT 的分类性能很好看，但生成质量需要额外检查
开源多语言数据全景
2025-2026 年涌现了一批重要的多语言预训练数据资源：
| 数据集/项目 | 语言数 | 规模 | 核心特色 | 链接 |
|---|---|---|---|---|
| FineWeb2 | 1000+ | 20 TB / 50 亿文档 | 自动适配管线，质量×重复度重平衡 | HuggingFace |
| FineWeb2-HQ | 20 | 6 TB / 3.8 亿文档 | Top 10% 模型筛选，6× 训练加速 | HuggingFace |
| EMMA-500 | 546 | - | 基于 Llama 的大规模多语言 CPT | 项目主页 |
| EMMA-500 Gen 2 | 546 | - | 加入平行数据，翻译任务显著提升 | 项目主页 |
| Glot500 | 500+ | - | XLM-R 扩展版，水平扩展到 500+ 语言 | GitHub |
| JQL 过滤器 | 35+（可扩展） | - | LLM 蒸馏质量过滤器，零样本跨语言 | HuggingFace |
多语言数据工程实践清单
基于本期覆盖的研究，这里给出一份面向实操的多语言数据工程建议：
数据获取
推荐策略（按优先级）：
1. 直接使用 FineWeb2-HQ（如果目标语言在 20 种之内）
→ 最高效，6× 训练加速已验证
2. 使用 FineWeb2 + JQL 过滤（如果目标语言在 1000+ 范围内）
→ 先用 FineWeb2 获取原始数据，再用 JQL 做质量过滤
3. 自行爬取 + FineWeb2 管线处理
→ 如果 Common Crawl 中目标语言数据不足质量过滤
推荐方法（告别传统 CQF）：
❌ 传统 CQF
├── 依赖单一参考集
├── 衡量分布相似度而非质量
└── 对非英语语言不适配
✅ 新范式
├── JQL：LLM 蒸馏 + 多语言嵌入
├── DataMan 式多维评分
├── 质量 × 多样性联合优化
└── 语言感知的阈值设定数据配比
多语言配比建议：
┌────────────────────────────────────────────────┐
│ 步骤 1：语言分类 │
│ 识别目标语言属于利他/自私/停滞型 │
│ │
│ 步骤 2：质量匹配 │
│ 确保各语言数据质量水平对齐（Apple 的关键发现） │
│ │
│ 步骤 3：代码增强 │
│ 混入 5-15% 代码数据作为跨语言桥梁 │
│ │
│ 步骤 4：配比搜索 │
│ 使用 Data Mixing Laws 或 DeMix 搜索最优配比 │
│ （参考 Vol.4 的方法论） │
└────────────────────────────────────────────────┘本期思考
多语言预训练数据工程正处于一个关键拐点。 过去，多语言模型的标准做法是”以英语为中心，其他语言搭便车”——主体数据是英语，非英语语言通过跨语言迁移获得一定能力。这种模式的天花板正在显现。
本期覆盖的研究揭示了三个深层矛盾：
第一，质量评估的英语偏见。启发式过滤规则、CQF 的参考集选择、甚至评估 benchmark 本身，都严重偏向英语。JQL 和 FineWeb2 的自动适配机制是正确的方向，但远未解决问题。
第二，数据质量 vs 数据量的优先级错位。Apple 的研究明确指出：多语言性能差距的根源是质量差距，不是量的差距。但业界的主流做法仍然是”尽可能多地收集数据”。FineWeb2-HQ 用 10% 的数据量实现 6× 训练加速的事实，应该让所有人重新思考”more is more”的默认假设。
第三，“数据质量”本身需要被重新定义。Apple 的”数据质量幻觉”论文是一记警钟——当前最流行的质量过滤方法可能在优化一个错误的目标函数。我们需要从”分布相似性”走向”语言学质量 + 信息密度 + 多样性”的多维评估体系。
对于正在构建多语言模型的团队，最紧迫的行动是：停止用英语标准一刀切，为每种目标语言建立独立的质量评估基线。FineWeb2-HQ + JQL 的组合是目前最实用的起点。同时密切关注 EMMA-500 等项目在低资源语言上的持续进展——那里才是多语言数据工程真正的”无人区”。
下期预告：数据污染检测与治理——当 benchmark 不再可信时，如何评估数据质量和模型能力？