各语言各一份词表
词表配额零和分配实验室（语言税第三部）——「共享一张词表」这件事本身，就是把不平等写进硬件的地方
题眼（arXiv:2609.15528 摘要原句）：「多语大模型传统上让所有语言共享同一张词表，这会造成各语言压缩率不均。 ……而且这很浪费 —— 因为模型往往只被用于其中一部分语言。」
本工具把这句话拆成三件事：① 共享词表下的槽位是零和的；② 加配额有递减收益，且英语会付费；③ 换成模块化子词表后零和消失，但账单换了地方。
🎛️分配控制台
128,000
8K – 256K。默认 128K（今日主流多语模型的量级）
分配策略
📊配额与溢价
Σ = 128,000 ✓ 守恒English
75,681
1.001×示意
简体中文
24,679
1.175×
Français
9,871
1.445×
العربية
6,581
1.699×示意
हिन्दी
4,936
3.460×示意
বাংলা
3,291
1.560×
தமிழ்
1,974
4.851×示意
Yorùbá
987
2.370×
< 1.1× 基本持平1.1 – 1.5× 轻度税1.5 – 2.5× 重度税> 2.5× 极端税半透明 = 该语言无 📖 实测读数，溢价是 ⚠ 示意外推
条形长度 = 槽位；色块 = 该语在此配额下的 token 溢价（色阶见下方图例，与条形同源）。
⚖️跨语言公平性（🧮 现算）
max / min 倍率
2.02×
越小越公平
Gini 系数
0.141
0 = 完全均等
TVD（到均匀）
0.112
0 = 负担均摊
语料加权平均溢价
1.307×
真正体现在账单上
指标口径：只算 4 个有 📖 实测锚点的语言（en / zh / fr / bn / yo）。max/min = 最贵语言 ÷ 最便宜语言的溢价；Gini 与 TVD 直接在这组溢价向量上算。
🔬五种策略横向对照
| 策略 | 英语配额 | 约鲁巴配额 | max/min | Gini | 加权溢价 | Σ 槽位 |
|---|---|---|---|---|---|---|
| 按语料占比 | 75,681 | 987 | 2.02× | 0.141 | 1.307× | 128,000 |
| 按语言均分 | 16,000 | 16,000 | 1.31× | 0.062 | 1.251× | 128,000 |
| Parity-aware（温度采样） | 36,701 | 6,469 | 1.22× | 0.037 | 1.182× | 128,000 |
| 按书写系统 | 28,847 | 28,846 | 1.56× | 0.094 | 1.172× | 128,000 |
| 模块化子词表 | 42,400 | 12,079 | 1.06× | 0.012 | 1.024× | 246,402 ⚠ |
⚠ 「按语言均分」看着最公平，但它的代价是英语配额从 75,681 掉到 16,000 —— 英语的溢价会升到 1.239× 。「均分槽位」和「均分代价」是两回事。
同一 V、同一语料占比下的五种分配。公平性一律只算有实测锚点的语言，避免示意值污染结论。
🤼零和条：拖一个，必有一个掉下去
选择语言
3,291
当前覆盖度 87.4% · 溢价 1.560×
🧮 真算：把某一语的配额拖上去，差额按其余语言当前配额的比例摊回去，总和严格守恒。
🔧⚠ 模型参数与 need 来源（务必先看这个）
英语基准 token/句（🧮 现训 BPE）
22.44
词表 2048
⚠ 英语 need（教学常量）
10,600
基准语，无法反解
⚠ 外推系数 κ
1.003
无锚点语言专用
⚠ 子词表倍数 satMult
4×
覆盖度 98.2%
「配额 → 溢价」是教学模型：premium(q) = 1 + (byteP − 1)·e^(−q/need)。曲线形状是建模假设，不是拟合结果 —— 每语只有 1 个实测锚点、1 个待定参数，所以今日附近可以讨论，极端配额的外推没有实测支撑。
🔗语言税三部曲
📚引用（逐条已回源）
- arXiv:2609.15528To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs · Franck Signe, Hippolyte Pilchen, François Yvon, Édouard Grave · 2026-09-14本工具的主线论文。2026-10-05 用 abs 页 citation_title 与 export API 双侧核对标题、作者、日期。
- arXiv:2609.39001The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype · Serval, Thomas · 2026-09-30法语 1.31–1.58×、中文 0.95–1.40×；Baracoda FR v1.2 法语 −11.5% / 英语 −3.7%。
- arXiv:2606.15044Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models · Lee, Kieron Seven Jun Wei · 2026-06-13Parity-aware BPE 位于效率-公平前沿；论文只覆盖 11 种东南亚语言 + 1.5B 受控训练，不外推。
- arXiv:2608.09046Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities · Roy, Avijit · 2026-08-10孟加拉语 1.56×、约鲁巴语（拉丁字母）2.37× 最高 —— 书写系统不足以解释不平等。
- arXiv:2305.15425Language Model Tokenizers Introduce Unfairness Between Languages · Petrov, Aleksandar · 2023-05-17奠基文献。
- arXiv:2305.13707Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models · Ahia, Orevaoghene · 2023-05-23奠基文献。