解码采样调音台
分布变形台 · 温度脆弱性 · min-p 之争 · 20 次采样剪刀差——「top-p 让输出更好」其实是有条件的
🎛️解码采样调音台·把「模型的分布」变成「我们的分布」
🧮 全部浏览器内真算:softmax / T / top-k / top-p / min-p / typical-p📖 温度脆弱性:arXiv:2609.15476(2026-09-14)📖 min-p 原始论文:arXiv:2407.01082📖 min-p 复审:arXiv:2506.13681
「top-p / min-p 让输出更好」这个几乎人人相信的说法,是有条件的,而且条件很可能不成立: 一篇 2026-09-14 的论文在 13 个开放权重模型上实测发现,截断采样器只在高温确实把模型搞坏时才提升准确率, 而温度稳定处没有任何一种优于纯温度采样——已报道的收益来自 T=1.5–3,真实部署默认却 集中在 0.6–1.0。
分布变形台
一条可调的基础分布,逐层施加 temperature → 截断 → 归一化。每一步的熵、有效候选数、被剪掉的概率质量都是实算的。
① 基础分布(模型吐出来的那条)
分布陡峭度 α1.20
越大越陡(模型越确定)
候选个数(长尾长度)12
只影响演示规模,真实词表是几万到几十万
② 温度与截断
Temperature T1.00
T<1 锐化 · T>1 拖平 · 部署默认多在 0.6–1.0
top-p 的 p0.90
累积概率门槛——在平分布上会砍掉一大截
③ 逐步对比(灰色斜纹 = 被剪掉的候选)
raw logits → softmax
熵 H2.92
有效候选 2^H7.5
top-136.6%
尾部 surprisal5.62
保留 12/12100.0%
被剪质量0.0%
temperature T=1.00
熵 H2.92
有效候选 2^H7.5
top-136.6%
尾部 surprisal5.62
保留 12/12100.0%
被剪质量0.0%
top-p p=0.90阈值 0.900
熵 H2.50
有效候选 2^H5.7
top-140.6%
尾部 surprisal4.90
保留 8/1290.2%
被剪质量9.8%
⭐ 同一个参数,在不同陡峭度的分布上是完全不同的操作
横轴 = 基础分布陡峭度(左平右陡),纵轴 = 被剪掉的概率质量。蓝 = top-p(p=0.90), 橙 = min-p(p_base=0.10)。两者在当前 T=1.00 下对比。
top-p min-p
top-p 的阈值是绝对的:平分布上要凑满 p 得拉进一大堆候选,陡分布上两三个就够了——同一个 p=0.9 在两端完全不是一回事。 min-p 的阈值是相对的(p_max × p_base),分布变陡时阈值跟着抬、分布变平时跟着降,所以曲线更平——这就是它「自适应」的说法的来历。 ⚠ 但「自适应」不等于「更好」:Tab 3 会看到这个说法后来是怎么被逐条拆掉的。
2.50
最终熵 H
bit
5.7
有效候选数 2^H
保留了 8 / 12 个
40.6%
top-1 概率
原始 36.6%
9.8%
累计被剪质量
从原始分布算起
诚实性标注
🧮 实算:Tab 1 的每一步变换(熵、有效候选数 2^H、被剪概率质量、尾部 surprisal)、Tab 3 的 6 配置并列、Tab 4 的采样与多样性统计, 全部在浏览器里按公式计算;随机性走 mulberry32 定种子,SSR 与客户端一致。
📖 文献值:温度脆弱性的所有数字(13 模型 / 6 个掉 17–38 点 / 7 个 ≤10 点 / T∈{0.7, 1.0, 1.3} / GSM8K + MMLU-Pro / 掉分来自跑满上限或不作答) 来自 arXiv:2609.15476 摘要原文;min-p 之争的四条反驳来自 arXiv:2506.13681 摘要原文, 「ICLR 2025 Oral、投稿排名第 18」来自 arXiv:2407.01082 的 comments 字段与复审稿摘要。
⚠ 教学模型:Tab 2 的温度→失控→判 0 曲线(公式与参数已全部写在页面上,可自行修改)、Tab 4 的 12 词小词表 40 抽演示, 都不是任何真实模型的实测,只用于展示曲线形状。
🔗 跨项目联动:Token 熵谱 2.1 — 上一步:这个分布是怎么来的(模型在犹豫什么)