CoT 推理审计实验室 4.0
审计推理 token 花得值不值:诊断失衡(浪费率真算)、真删段修剪、预算分配、最优停止点
📊 推理失衡诊断器
把一条 CoT 切成 6 类语义段,比较每段的 token 占比 与 贡献占比。 两侧都归一化到 Σ=100 再相减:delta 为正 = 用更少的 token 换到更多的贡献(高效)。 🧮 全部由浏览器内真算;段类型与贡献分为 ⚠️ 人工标注的教学轨迹。
447
总 Token(Σ分段派生)
40
高效 Token
72
浪费 Token
16.1%
浪费率
🧮 口径自检:Σ 分段 token = 447(不再有独立的 totalTokens 字段); 高效 40 + 浪费 72 = 112 ≤ 447 ✓; 段数 n = 12,Σ贡献分 = 61。
🔥 算力分配热力图 — DeepSeek-R1(447 tokens)
条宽 = 该段 token 占本轨迹的比例(按最长段归一化到 100%);填充色 = 段类型;右端三角 = delta 方向(▲ 高效 / ▼ 浪费)。上一版条宽被 minWidth 兜成等宽、且颜色与宽度讲同一件事,本版拆成两个视觉通道。
115t· -0.1
前提
242t· -2.8
探索
356t· -2.7
探索
428t▲ +5.2
验证
538t· -0.3
验证
642t▼ -6.1
死胡同
745t· +3.0
探索
862t· -2.4
探索
932t· -0.6
验证
1030t▼ -5.1
冗余循环
1145t· -0.2
验证
1212t▲ +12.1
结论
前提(图例预期:必要开销)探索(图例预期:应该高效)验证(图例预期:结论的前提)结论(图例预期:应该高效)死胡同(图例预期:应该判浪费)冗余循环(图例预期:应该判浪费)
判据:delta = 贡献占比 − token 占比,> +5 判高效,< −5 判浪费,其余正常。
⚖️ 跨模型对照(请谨慎解读)
⚠️ 段粒度由人工标注决定,跨模型不可比。段数越少,归一化后每段份额越大,delta 方差越大——准确率最高的 Claude(82%)反而拿到最高浪费率, 主要因为它只有 7 段而 DeepSeek-R1 有 12 段。默认只在同一条轨迹内解读浪费率。
| 模型 | 段数 n | Σ token | 高效 t | 浪费 t | 浪费率 |
|---|---|---|---|---|---|
| DeepSeek-R1 | 12 | 447 | 40 | 72 | 16.1% |
| Claude Opus 4.7 | 7 | 206 | 10 | 103 | 50.0% |
| GPT-5 | 9 | 234 | 8 | 73 | 31.2% |
| Qwen3-30B-Thinking | 13 | 364 | 10 | 38 | 10.4% |
| Llama 4 | 18 | 407 | 32 | 25 | 6.1% |
📋 逐段明细
#1前提观察题目:求 f(x) = |x²-4| 在 [-3,3] 的最小值15t-0.1
#2探索先画绝对值函数的草图...42t-2.8
#3探索分段:x²-4≥0 即 |x|≥2 时 f=x²-4;|x|<2 时 f=4-x²56t-2.7
#4验证Wait, 让我重新想想分段是否正确28t+5.2
#5验证嗯,在 [-3,-2] 上 f=x²-4 递减,最小在 x=-2 处 = 038t-0.3
#6死胡同在 [-2,0] 上 f=4-x²,最小值在 x=0 处 = 4... Wait 不对42t-6.1
#7探索Wait, 4-x² 在 x=0 处最大啊... 我在 [−2,0] 应该检查边界45t+3.0
#8探索Sorry, 让我重新来。在 [−2,2] 区间 f=4-x²,最小值在端点 x=±2 处 = 0,最大值在 x=0 处 = 462t-2.4
#9验证在 [2,3] 上 f=x²-4,递增,最小值在 x=2 处 = 032t-0.6
#10冗余循环Hmm... 所有端点都是 0。但题目要求的是最小值...30t-5.1
#11验证Wait, 那就再检查端点。x=-3 处 f=5, x=3 处 f=5, x=±2 处 f=045t-0.2
#12结论Therefore 答案是 012t+12.1
🎨 数据来源三色标注
📖 文献值
翻转事件表 / 指标表 / 67.5% 分类 / Plan-and-Budget 的 70%·39%·193.8% —— 均由 arXiv HTML 全文逐条核对。
🧮 浏览器内真算
5 条轨迹的失衡判据、浪费率、修剪后的剩余贡献、96 格 argmax、预算曲线 —— 全部在你打开页面时实算。
⚠️ 教学模型
5 条轨迹是手写的(非真实采样转录);准确率饱和曲线、结论段 ×0.45 折扣、rec(d)=150+90d、损失曲线 40·(1−e^(−0.035d)) 均为演示机制所设。
📚 文献
Junhong Lin, Xinyue Zeng, Jie Zhu, Song Wang · 2025-05-22 · ICLR 2026
abs 页 comments 字段确认 ICLR 2026 收录;摘要原文含「up to 70% accuracy gains, 39% token reduction, and 193.8% improvement in E3」。机构「MIT」未核到,本站不再标注。
Shu Zhou, Rui Ling, Junan Chen, Xin Wang · 2026-04-12 · arXiv:2604.10739
翻转表 / 指标表 / 67.5% 分类均由 HTML 全文逐条核对(v1)。
Siddharth Boppana (Goodfire AI), Annabel Ma (Harvard) 等 · 2026-03-05 · arXiv:2603.05488
与本站「推理剧场」工具互挂。注意:原文三个 early-exit 数字分别对应不同置信度阈值,不能拼成一句话。
Daeyeop Lee, Hwanjo Yu · 2026-07-13 · Findings of ACL 2026 · DOI 10.18653/v1/2026.findings-acl.1942
文本侧压缩路线:GSM8K / StrategyQA / ARC-Challenge 上砍 31–53% token 不掉点(abs 页核到 31–53%,HTML 未逐条核)。
PathCal —— 状态感知校准 / 犹豫标记分类
已撤回—— · —— · 原工具标注为「arXiv:2605, 2026-05」
🔴 只有年月没有编号,arXiv 无此号;其「40% 推理加速」的数字也无出处。2026-09-28 已从本站全部引用中删除。
🔗 对照工具与深链
阅读顺序建议:先问「这些 token 到底有没有承载计算」(推理剧场)→ 再问「算力分得好不好」(本工具)。 若你跳过第一步直接优化 token 分配,会默认 CoT 文本是内部计算的忠实投影——而 arXiv:2603.05488 说明这个前提在简单题上不成立。