🧪 对齐悖论实验室

后训练让模型更会说话，也让它更敢在不知道的时候给答案 —— 置信度为什么不再是知识边界信号

📖 arXiv:2609.32617 · 2026-09-26⚠️ 预印本，未经同行评议（abs 页无 comments 字段）8 位作者 · 22,267 条事实查询

悖论本身：我们为了让模型「更好用」所做的对齐，把「知道自己不知道」的能力对齐没了。未对齐的 base 模型在长尾事实查询上几乎不产生高置信错误；指令微调后，高置信错误（p ≥ 0.95）被放大 10.0× 到 35.4×， ECE 恶化最高 15.5 倍——而总体错误率的变化远没有这么戏剧化。后果是：置信度不再是可信的知识边界信号，任何「不确定就别回答」的推理时策略都会同时失去支点。

Base ⇄ Instruct：两条曲线为什么交叉

教学机制只保留产生悖论的那一条：承诺强度 s = |N(0,1)| 与对错独立，正确性由一枚 55% 的硬币决定。后训练做的唯一一件事，是把「答错时的 margin 折扣」从 0.62 抹平到 1.0：margin = b·s·(答对 ? 1 : gap)。于是 α 只改变「置信度与正确性之间的耦合」——不改变谁被选为 top-1，所以总体错误率一动不动。

对齐强度 α（0=base → 1=instruct）1.00

候选数 K4

样本数 N3000

随机种子20261003

45.1%

总体错误率

5.57%

高置信错误率

167.0×

放大倍数（vs base）

0.215

ECE

195

A · 高置信且答对 · 6.5%

167

B · 高置信但答错 · 5.6%

1185

C · 低置信且答错 · 39.5%

1453

D · 低置信但答对 · 48.4%

⚠️ 本教学模型的准确率不随 a 变化（正确性由 e 单独决定）；论文表 1 里 instruct 的准确率也下降了（如 Mistral-7B 52.3 → 41.6），这一点本模型不模拟。文献锚点单独陈列在下方，不要与本地样本混着比。

📖 文献锚点 · 表 1（真实数据，22,267 条查询，τ=0.95）

模型族	Acc	Gate A	Gate B（高置信错误）	放大	Gate C	Gate D	ECE
Mistral-7B · Base	52.3%	2,378	97	—	10,525	9,256	0.097
Mistral-7B · Instruct	41.6%	4,133	1,366	14.1×	11,605	5,125	0.378
Qwen3-8B · Base	45.9%	1,885	50	—	11,986	8,318	0.042
Qwen3-8B · Instruct	37.9%	5,140	1,768	35.4×	11,993	3,308	0.400
LLaMA-3.1-8B · Base	55.3%	1,406	38	—	9,909	10,910	0.018
LLaMA-3.1-8B · Instruct	45.6%	4,996	596	15.7×	11,494	5,157	0.262
Mistral-Nemo-12B · Base	57.7%	1,690	56	—	9,367	11,150	0.017
Mistral-Nemo-12B · Instruct	47.6%	4,766	560	10×	11,092	5,834	0.264
Qwen3-14B · Base	51%	2,727	104	—	10,564	8,391	0.066
Qwen3-14B · Instruct	43.4%	6,727	2,061	19.8×	10,451	2,938	0.371

读法：ECE 那一列几乎都在变大（0.097 → 0.378、0.042 → 0.400…），Gate B 那一列涨一到两个数量级，而 Acc 那一列只掉几个点。这就是「更好用」与「更可信」之间的裂缝。

因果拆解：是聊天模板，还是参数更新？

Mistral-7B	C1 · Base Few-Shot	63	0.28%	1×
Mistral-7B	C2 · Instruct Chat Template	1630	7.32%	25.9×
Mistral-7B	C3 · Instruct 裸 completion	864	3.88%	13.7×
LLaMA-3-8B	C1 · Base Few-Shot	18	0.08%	1×
LLaMA-3-8B	C2 · Instruct Chat Template	637	2.86%	35.4×
LLaMA-3-8B	C3 · Instruct 裸 completion	108	0.48%	6×
Qwen3-8B	C1 · Base Few-Shot	92	0.41%	1×
Qwen3-8B	C2 · Instruct Chat Template	924	4.15%	10×
Qwen3-8B	C3 · Instruct 裸 completion	378	1.7%	4.1×

C3（给 instruct 模型喂 base 那种裸 completion prompt）仍远高于 C1 —— 说明是参数更新而不是聊天模板在驱动这件事。

📖 全部文献数字来自 arXiv:2609.32617 （2026-09-26，8 位作者：Huang Qingjia / Li Yakai / Wu Jianguo / Zhou Qihang / Yu Aimin / Jia Xiaoqi / Ma Luping / Zhang Weijuan）的 HTML 全文表格，可自行核对。

⚠️ 该文 abs 页无 comments 字段 → 未见会议 / 期刊标注，属预印本，未经同行评议。

🧮 页面里真算的是：softmax / margin / 预测熵 / 分桶 ECE / Mann–Whitney U 的 AUROC / bootstrap 95% CI / 多项式抽样自洽性 / DPO 与 BDM-DPO 的目标与梯度。⚠️ 不是真算的：知识证据分布、逐层 logit 轨迹、两参数玩具偏好对——它们只负责给上面那些函数喂输入。

继续玩：弃权经济学实验室（既然置信度不可靠，弃权该怎么定价） ·幻觉博物馆（真事件的代价） ·Token 零距离（不确定性的听感）

内容出处与诚实性声明

文献锚点为 arXiv:2609.32617《The Alignment Paradox: How Post-Training Amplifies Confident Hallucinations in Language Models》（2026-09-26，8 位作者），所有数字取自其 HTML 全文表格（表 1 的四分门统计、聊天模板/裸 prompt 消融、逐训练阶段首 token 熵与 margin、采样扰动下的顽固率与自洽性 AUROC、BDM-DPO 逐 epoch 对照）。

⚠️ 该文 abs 页无 comments 字段，未见会议 / 期刊标注，属预印本，未经同行评议。

⚠️ 浏览器里真算的是 softmax / margin / 预测熵 / ECE / AUROC（Mann–Whitney U）/ bootstrap CI / DPO 与 BDM-DPO 的目标与梯度；教学设定（知识证据分布、逐层 logit 轨迹、两参数玩具偏好对）已在页面内逐处标明，本地教学样本的数值不可与论文实测值直接比较。