Token 熵谱 2.1

6 指标同源:先造候选分布,再从分布导出全部指标 · Overthinking 阈值可调 · 思考 Token 预算参数探针

🎲Token 熵谱 2.1·6 个指标全部由同一条候选分布导出——不再各说各话
🧮 全页实算:分布 → H / Var / Skew / Surprisal / PPL📖 LogitScope(arXiv:2603.24929)token 级 entropy / varentropy📖 思考 Token = 信息峰(arXiv:2506.02867)⚠ 「varentropy 是质量最强预测因子」是社区观点,论文摘要未作此断言
本页 6 个指标的定义:H = −Σ p·log₂p、varentropy = Var(surprisal)、skewentropy = 三阶标准化矩、surprisal = −log₂p(选中)、step PPL = 2^H、seq PPL = 2^(平均 NLL)。 候选分布由 Zipf 尾 + 二分求解的陡峭度生成,有效候选数是可变的第二个旋钮。

实时生成熵谱

解释物理概念——模型高度自信,候选分布陡峭,entropy 持续较低

相对论
的核心
思想
是
时间
和
空间
并非
绝对
而是
相对的
。
当
物体
接近
光速
时
时间
会
变慢
,
这
就是
狭义
相对论
。
广义
相对论
则
认为
引力
是
时空
弯曲
的
表现
。

Entropy 曲线 + 有效候选数 2^H

0.00.51.01.52.02.5
Token 0Entropy > 1.5 = 高犹豫(红)· 2^H = 相当于在几个候选里挑Token 36

6 指标雷达图(Token #0: "相对论")

EntropyVarentropySurprisalSkewTop-1Seq PPL
Entropy H0.64 bit
Varentropy = Var(surprisal)2.14
Surprisal = −log₂ p(选中)0.16
Skewentropy 三阶标准化矩,可为负3.26
Top-1 Prob89.3%
Step PPL = 2^H1.56
Seq PPL = 2^(平均 NLL)1.12
有效候选数 2^H1.6
旧版这里的 Perplexity 是「序列联合概率的倒数」(37 个 token 能算到 5.4×10⁵), 现已改为 2^(平均 NLL)——与真实 LLM 的 5–30 量级可比。
诚实性标注
🧮 实算:候选概率分布(Zipf 尾 + 二分求陡峭度)→ H / varentropy / skewentropy / surprisal / top-1 / step PPL / seq PPL。全部浏览器内计算,定种子,SSR 与客户端一致。
📖 文献:LogitScope = arXiv:2603.24929(2026-03,Ahmed / Ong / DeLuca);思考 Token 信息峰 = arXiv:2506.02867。两处的链接都在页首,点进去可核对。
⚠ 教学模型:Tab 6 的三个滑杆、Tab 5 的检测阈值、以及各场景的 token 语料均为演示构造,不是任何真实模型的实测输出。
2026-09-21 重建说明:旧版的 6 个指标是 6 条独立随机流(varentropy = entropy×0.6 + 噪声、surprisal = −log₂(top1)×4、 perplexity = Π 1/p 累计到 5.4×10⁵),彼此在数学上无法同时成立,现已全部改为从同一条分布导出。