推理剧场:它在演,还是真的在想?
激活探针 / 强制回答 / CoT 监控器三条读者赛跑——量出「模型内部早就定了、嘴上还在演」的那段 token,以及它为什么随任务难度反转
🔴 「CoT 监控充其量是合作的听众,而推理模型并不是合作的说话人。」(原文引 Grice, 1975 的合作原则)—— 把 CoT 当安全审计手段("we can watch it think")的致命前提,就在这句话里。
🏁 同一条轨迹,三个读者同时读
横轴是 token 进度,纵轴是「能否读出模型的最终答案」。三个读者: 🔵 激活探针(读残差流上的内部信念)、 🟢 强制回答(在此处截断并注入「直接给答案」)、 🟠 CoT 监控器(把前缀文本喂给另一个 LLM 问「答案浮现了吗」)。蓝色曲线和橙色曲线之间的面积,就是「表演性」——模型内部早就定了,嘴上还在演。
模型
任务难度recall (MMLU)
99.6%
🔵 激活探针
100.0%
🟢 强制回答
50.0%
🟠 CoT 监控器
+49.6
此刻的表演度(探针−监控)
🧮 自洽校验(本站惯例:凡声称一个数字,就量一遍画出来的东西是否等于它):论文给的 performativity = 0.417(📖 端点线性插值 , 0 → 0.417,1 → 0.012); 图上紫色阴影的实际积分面积 = 0.417。 二者之差 0.0000 ✓(二分求解使面积真的等于该数字)。
⚠️ 难度滑杆的两端点才是 📖 真值,中间是线性插值——论文只测了两个数据集,没有连续难度轴。 曲线的具体形状与 μ 位置均为教学模型。
📖 探针本身可信吗(同文 Table 5 / Table 6)
Attention probe(最佳层 32)
87.98% macro acc
Linear probe 基线(最佳层 32)
31.85% macro acc
随机标签探针(最佳层 25)
28.24% macro acc
MMLU 训练的探针直接迁移 GPQA
67.77% GPQA acc
同上的微调版本(19 条训练题)
67.78% GPQA acc
注意最后两行:MMLU 上训好的探针直接迁移到 GPQA 是 67.77%,用 19 条题微调只有 67.78%—— 差 0.01pp,所以论文全程用直接迁移。这说明探针读到的是「答案表征何时浮现」这个通用信号,而不是过拟合到某个数据集。
🎨 数据来源三色标注
📖 文献值(arXiv:2603.05488v3 全文核对)
performativity 4 格(0.417/0.012/0.435/0.227 与 0.505/0.010/0.334/0.185)、inflection 两张表、早退三组数字、探针可信度 Table 5/6、Grice 引语。
🧮 浏览器内真算
三条曲线的面积积分(二分求解使面积真的等于 performativity)、游标处的三个读出值、帕累托前沿排序与前沿判定、一刀切误杀统计。
⚠️ 教学模型
曲线的具体形状与 μ 位置、难度滑杆的连续插值、早退保留率曲线、Grice 四准则记分卡的逐条打分、10 条犹豫片段及其两个维度的人工标注。
📚 文献
Reasoning Theater: Disentangling Model Beliefs from Chain-of-Thought
Siddharth Boppana (Goodfire AI), Annabel Ma (Harvard) 等 · 2026-03-05(v3: 2026-03-12) · arXiv:2603.05488
被测模型 DeepSeek-R1 671B 与 GPT-OSS 120B;CoT monitor 用 Gemini-2.5-Flash;探针逐层训练。代码 github.com/AskSid/disentangling-computation-from-cot
Valid ≠ Necessary: Diagnosing Latent Inefficiency in Chain-of-Thought (CAID / PACE)
Daeyeop Lee, Hwanjo Yu · 2026-07-13 · Findings of ACL 2026 · arXiv:2607.11266
文本侧压缩对照路线:GSM8K / StrategyQA / ARC-Challenge 砍 31–53% token 不掉点。与探针侧早退是两条独立可叠加的路线。
When More Thinking Hurts: Overthinking in LLM Test-Time Compute Scaling
Shu Zhou, Rui Ling, Junan Chen, Xin Wang · 2026-04-12 · arXiv:2604.10739
负翻转在 ~7K token 后压过正翻转。本工具问的是「token 有没有在算」,该文问的是「多想会不会更错」。
🔗 对照工具与深链
CoT 推理审计实验室 4.0
本工具的下一级问题:token 有没有在算 → 算力分得好不好
顿悟时刻检测器
本工具把 aha moment 判为「真」,那里把它当检测对象
CoT 伪造沙盒
反过来:能不能造出「看着在想其实没想」的痕迹
对齐伪装实验室
表演性 CoT 是伪装的一种更弱、更常见的形式
阅读顺序:先问「这些 token 到底有没有承载计算」(本工具)→ 再问「算力分得好不好」(CoT 推理审计实验室)。 站内所有其他 CoT 工具都预设了「CoT 文本是内部计算的忠实投影」——本工具是唯一质疑这个前提的,而且答案随任务难度变化。