🎧 Token 零距离

聆听 LLM 的「内心声音」——Shannon 熵 H 真算 × (p₁,H) 散度平面 × 5 层声景 × 实时 FFT 频谱

🔊Token 零距离 — LLM 内心声景

把解码时的概率分布变成 5 层声景;熵不再是置信度的镜像——p₁ 与 H 是两个独立自由度

Shannon 熵真算 🧮(p₁, H) 可行域 🧮实时频谱 FFT 🧮架构来源 Process Thought 📖
⚠️ 关于数据来源,请先读这一行
本工具的 p₁(top-1 概率)、s(Zipf 尾部指数)与候选词表是按语言学直觉手工设定的教学示意值, 不是任何真实模型的 logits / logprobs 输出(当前可拿到 logprobs 的主流商用 API 中,Anthropic 系不返回该字段,本站也不调用任何在线模型)。 但一旦给定这三个参数,概率分布、Shannon 熵 H、可行域上下界、归一化自检全部在浏览器内精确计算。
速度:就绪
实时频谱 (FFT 2048) · 紫=低频 / 绿=中频 / 橙=高频静音
夜色如墨,渐渐浸染了整座城市。街灯像散落的星子,在薄雾中朦胧地眨着眼。远处传来隐约的汽笛声,像谁的叹息。

双轴对照:p₁(蓝绿)与 H(紫)是两条不同的曲线

旧版把 H 写成 (1−p₁)×k,两条曲线必然重合;现在它们真正解耦了

p₁(0–100%)H(0–3 bit)avg p₁ 67% · avg H 1.32 bit
⚠️ 教学模型p₁ / s / 候选词为手工设定的示意值,非任何真实模型输出🧮 浏览器真算H / 候选分布 / 可行域边界 / 归一化自检 / FFT 频谱📖 文献5 层架构引自 Process Thought(Mehul Arora, MIT)