数据工程·语种识别过滤台
《AI 数据全书》· 第 6 章 · 语种识别与质量过滤从「这是什么语言」到「该留还是该删」——语种识别是第一道关卡，质量过滤决定数据池的形状
CommonLinguaCommonLID
无分词器 · UTF-8 字节级 · Causal Conv1D×3 + 双向 Attention×1 + RoPE
参数量
2.35M
覆盖语种
334
CommonLID Acc
77.63%
Macro F1
0.788
预处理要求：原生处理代码 / 公式，无需 strip
置信度阈值0.60
min_text_length15
切换模型时两个阈值会自动回到该模型的默认值——CommonLingua 是 0.6 / 15，fastText 是 0.5 / 10。 阈值不是通用常数，跟着置信度分布走。
CommonLingua · Top-5 语种概率
通过阈值判定正确
中文
82.7%
英语
12.9%
印尼语
3.6%
马来语
0.9%
θ = 0.60
期望结果：中文 · 内容是中文，但以拉丁字母书写，极易被判为印尼语/马来语
🧬 字符 3-gram 归因（CommonLingua 架构：无分词器 · UTF-8 字节级 · Trigram 哈希嵌入）
支持 中文支持 英语中性噪声（数字/符号）
ni hao shi jie wo men yi qi lai xue xi da mo xing shu ju gong cheng zhe men ke cheng fei chang you yi si
语系构成：拉丁 100%
📄 输入样本
ni hao shi jie wo men yi qi lai xue xi da mo xing shu ju gong cheng zhe men ke cheng fei chang you yi si
长度 104 字符 · 1 个语系
⚠️ 命中误判类型：en / id
- 误判为
- en / id
- 原因
- 拼音被识别为印尼语
- 解决
- 用 CommonLingua / GlotLID 补充
当前模型对该类误判的抵抗系数： 75%（0 = 完全踩坑，100 = 基本免疫）
⚖️ UniLID：零模型成本的对照（GlotLID-C）
fastText 基线0.944
UniLID (Qwen2.5)0.929
Macro F1 差距仅 0.015，但 UniLID零额外模型 · 零额外内存——直接复用 LLM 自带的 UnigramLM 分词器算各语种子词单元的负对 数似然（arXiv:2602.17655，ICML 2026）。
⚠️ GlotLID-C 与 CommonLID 是不同基准，数值不可横向对比。
📋 §4.2.5 六类常见误判速查（点击样本按钮可复现）
| 文本类型 | 误判为 | 原因 | 解决 |
|---|---|---|---|
| 代码 + 英文注释 | en | 注释主导 | 先剥离代码再识别 |
| 超短文本（<10 字符） | unknown | 信息不足 | 拒绝短文本 |
| 拼音（拉丁化中文） | en / id | 拼音被识别为印尼语 | 用 CommonLingua / GlotLID 补充 |
| 古文（繁体） | ja | 繁体字与日文汉字相似 | 用专门古文分类器 |
| 纯数字日志 | unknown | 数字不含语种信息 | 先剥离数字 |
| 阿拉伯语方言 | ar（MSA） | 方言与现代标准阿语混淆 | 用 Gherbal v4（16/16 方言分类，Avg Acc 0.836，200MB） |
⚠️ 上方概率为按各模型在 CommonLID / GlotLID-C 等基准上的公开指标折算的示意性分数，用于演示「阈值 × min_text_length × 模型能力」三者如何共同决定判定结果， 并非真实模型推理输出。真实部署请以 CommonLingua / fastText / GlotLID 官方推理结果为准。
内容参考《AI 数据全书》第 6 章「语种识别与质量过滤」· 阅读原章节 → · 系列首页：数据工程·全景驾驶舱 →
LangID 概率为按各模型公开指标折算的示意性分布，3-gram 归因基于字符码位与拉 丁语系特征词做确定性判定， PPL 分布与 QuRating 打分为示意性生成——全部用于演示判定与采样逻辑，非真实模型推理结果。 章节中标注「待验证」的数字（UniLID 0.929 / XLM-R LID v2 0.966 / 双模型一致性 98.91%）已在对应位置保留标注。
LangID 概率为按各模型公开指标折算的示意性分布，3-gram 归因基于字符码位与拉 丁语系特征词做确定性判定， PPL 分布与 QuRating 打分为示意性生成——全部用于演示判定与采样逻辑，非真实模型推理结果。 章节中标注「待验证」的数字（UniLID 0.929 / XLM-R LID v2 0.966 / 双模型一致性 98.91%）已在对应位置保留标注。