AI 巴别塔

【数据层已重建】你的语言决定了你的推理账单——🧮 浏览器现算 + 📖 文献溢价分栏 + 效率·公平·下游三维前沿

AI 巴别塔

同一句话，不同语言的编码代价不同——这是 AI 时代最隐蔽的不平等。本页所有数字分三档：📖 文献实测 / 🧮 浏览器现算 / ⚠ 教学设定。

主要依据arXiv:2609.39001Serval, 《The Invisible Language Tax》2026-09-307 分词器 · NTREX-128 + UDHR

arXiv:2608.09046Roy 等，TEA 成本审计，2026-08-10

🗼

⚠ 2026-10-04 数据层重建说明：旧版 22 种语言的 token 数全部是手写常量（代码注释自述 "Simulated based on typical BPE compression behavior"），且中文 2.7× / 法语 1.5× 的排序与实测方向相反。旧表已全部删除，本页只保留有文献来源的数字与浏览器现算的结果。

🧮 在浏览器里现训一份「共享词表」字节级 BPE

⚠ 自建教学平行语料（16 句 × 8 语），不是 NTREX-128 / UDHR / FLORES 的官方对齐句对。 8 语混合语料现训一份词表（392 条 merge，词表 600），再用它给每种语言编码——这才是真实多语分词器的竞争机制。

词表规模600

1.00×

English

396 tok

1.15×

Français

454 tok

1.20×

简体中文

476 tok

1.31×

বাংলা

519 tok

1.47×

हिन्दी

583 tok

1.19×

العربية

473 tok

1.44×

தமிழ்

570 tok

1.27×

Yorùbá

504 tok

≤ 1.15× 几乎无溢价1.15× – 2.0× 中等溢价> 2.0× 高溢价（柱高与配色均由「真算 token ÷ 英语 token」同一份数据驱动）

🧮 真算列 vs 📖 文献列（左右分栏，口径不可比）

左边是本页语料上现算出来的编码代价，右边是真实论文在真实分词器上测出的溢价。两者不能直接相减或相除——词表规模、语料、分词器全都不同。

语言	码点	字素簇	UTF-8 字节	🧮 共享词表 token	🧮 相对英语	🧮 单语词表	🧮 共享惩罚	\|	📖 文献溢价	来源
हिन्दीDevanagari	707	476	1,863	583	1.47×	426	1.37×	\|	—（无读数）	—
தமிழ்Tamil	816	525	2,246	570	1.44×	388	1.47×	\|	—（无读数）	—
বাংলাBengali	719	463	1,955	519	1.31×	415	1.25×	\|	1.56× – 4.50×	📖arXiv:2608.09046
YorùbáLatin	721	683	1,041	504	1.27×	401	1.26×	\|	2.37×	📖arXiv:2608.09046
简体中文Han	222	222	666	476	1.20×	388	1.23×	\|	0.95× – 1.40×	📖arXiv:2609.39001
العربيةArabic	583	578	1,067	473	1.19×	361	1.31×	\|	—（无读数）	—
FrançaisLatin	825	825	845	454	1.15×	402	1.13×	\|	1.31× – 1.58×	📖arXiv:2609.39001
EnglishLatin	747	747	747	396	1.00×	359	1.10×	\|	1.00× – 1.00×	—

「码点」是 Array.from(text).length；「字素簇」是 Intl.Segmenter(granularity:'grapheme')，也就是用户眼里的一个字（带组合符号的孟加拉语/印地语/阿拉伯语在这里才不会被算错）。「UTF-8 字节」是字节级分词器成本的硬下界——中文 3 字节/字、拉丁 1 字节、emoji 4 字节。

为什么主指标是「共享词表」：若给每种语言各训一个同样大小的词表，等于取消了语言之间对词表槽位的竞争，测出来的是「这段语料本身有多可压缩」而不是「语言税」——那就是本工具上一版犯的那种口径错误。所以这里用 8 语混合语料现训一份词表再编码；「共享惩罚 = 共享词表 ÷ 单语词表」就是共用词表让该语言多付的代价（本语料下英语 1.10×、泰米尔语 1.47×）。

语言税三部曲 · 交叉链接

你的 128K 其实有多大

语言税的第二部：从「多花钱」到「能力被悄悄砍掉」

Lost in the Middle

长上下文的位置偏差（U 型曲线）

Context Engineering 工具箱

Prompt Cache 经济学

标注体系：📖 = 有出处的文献实测值；🧮 = 本页浏览器内现算；⚠ = 教学设定（平行语料、序数标尺、外推账单），不可当实测读数引用。