CoT 推理审计实验室 4.0

审计推理 token 花得值不值:诊断失衡(浪费率真算)、真删段修剪、预算分配、最优停止点

📊 推理失衡诊断器

把一条 CoT 切成 6 类语义段,比较每段的 token 占比 与 贡献占比。 两侧都归一化到 Σ=100 再相减:delta 为正 = 用更少的 token 换到更多的贡献(高效)。 🧮 全部由浏览器内真算;段类型与贡献分为 ⚠️ 人工标注的教学轨迹。

447
总 Token(Σ分段派生)
40
高效 Token
72
浪费 Token
16.1%
浪费率
🧮 口径自检:Σ 分段 token = 447(不再有独立的 totalTokens 字段); 高效 40 + 浪费 72 = 112 ≤ 447 ✓; 段数 n = 12,Σ贡献分 = 61。

🔥 算力分配热力图 — DeepSeek-R1(447 tokens)

条宽 = 该段 token 占本轨迹的比例(按最长段归一化到 100%);填充色 = 段类型;右端三角 = delta 方向(▲ 高效 / ▼ 浪费)。上一版条宽被 minWidth 兜成等宽、且颜色与宽度讲同一件事,本版拆成两个视觉通道。

1
前提
15t· -0.1
2
探索
42t· -2.8
3
探索
56t· -2.7
4
验证
28t▲ +5.2
5
验证
38t· -0.3
6
死胡同
42t▼ -6.1
7
探索
45t· +3.0
8
探索
62t· -2.4
9
验证
32t· -0.6
10
冗余循环
30t▼ -5.1
11
验证
45t· -0.2
12
结论
12t▲ +12.1
前提(图例预期:必要开销)探索(图例预期:应该高效)验证(图例预期:结论的前提)结论(图例预期:应该高效)死胡同(图例预期:应该判浪费)冗余循环(图例预期:应该判浪费)
判据:delta = 贡献占比 − token 占比,> +5 判高效,< −5 判浪费,其余正常。

⚖️ 跨模型对照(请谨慎解读)

⚠️ 段粒度由人工标注决定,跨模型不可比。段数越少,归一化后每段份额越大,delta 方差越大——准确率最高的 Claude(82%)反而拿到最高浪费率, 主要因为它只有 7 段而 DeepSeek-R1 有 12 段。默认只在同一条轨迹内解读浪费率。

模型段数 nΣ token高效 t浪费 t浪费率
DeepSeek-R112447407216.1%
Claude Opus 4.772061010350.0%
GPT-5923487331.2%
Qwen3-30B-Thinking13364103810.4%
Llama 41840732256.1%

📋 逐段明细

#1前提观察题目:求 f(x) = |x²-4| 在 [-3,3] 的最小值15t-0.1
#2探索先画绝对值函数的草图...42t-2.8
#3探索分段:x²-4≥0 即 |x|≥2 时 f=x²-4;|x|<2 时 f=4-x²56t-2.7
#4验证Wait, 让我重新想想分段是否正确28t+5.2
#5验证嗯,在 [-3,-2] 上 f=x²-4 递减,最小在 x=-2 处 = 038t-0.3
#6死胡同在 [-2,0] 上 f=4-x²,最小值在 x=0 处 = 4... Wait 不对42t-6.1
#7探索Wait, 4-x² 在 x=0 处最大啊... 我在 [−2,0] 应该检查边界45t+3.0
#8探索Sorry, 让我重新来。在 [−2,2] 区间 f=4-x²,最小值在端点 x=±2 处 = 0,最大值在 x=0 处 = 462t-2.4
#9验证在 [2,3] 上 f=x²-4,递增,最小值在 x=2 处 = 032t-0.6
#10冗余循环Hmm... 所有端点都是 0。但题目要求的是最小值...30t-5.1
#11验证Wait, 那就再检查端点。x=-3 处 f=5, x=3 处 f=5, x=±2 处 f=045t-0.2
#12结论Therefore 答案是 012t+12.1

🎨 数据来源三色标注

📖 文献值
翻转事件表 / 指标表 / 67.5% 分类 / Plan-and-Budget 的 70%·39%·193.8% —— 均由 arXiv HTML 全文逐条核对。
🧮 浏览器内真算
5 条轨迹的失衡判据、浪费率、修剪后的剩余贡献、96 格 argmax、预算曲线 —— 全部在你打开页面时实算。
⚠️ 教学模型
5 条轨迹是手写的(非真实采样转录);准确率饱和曲线、结论段 ×0.45 折扣、rec(d)=150+90d、损失曲线 40·(1−e^(−0.035d)) 均为演示机制所设。

📚 文献

Junhong Lin, Xinyue Zeng, Jie Zhu, Song Wang · 2025-05-22 · ICLR 2026
abs 页 comments 字段确认 ICLR 2026 收录;摘要原文含「up to 70% accuracy gains, 39% token reduction, and 193.8% improvement in E3」。机构「MIT」未核到,本站不再标注。
Shu Zhou, Rui Ling, Junan Chen, Xin Wang · 2026-04-12 · arXiv:2604.10739
翻转表 / 指标表 / 67.5% 分类均由 HTML 全文逐条核对(v1)。
Siddharth Boppana (Goodfire AI), Annabel Ma (Harvard) 等 · 2026-03-05 · arXiv:2603.05488
与本站「推理剧场」工具互挂。注意:原文三个 early-exit 数字分别对应不同置信度阈值,不能拼成一句话。
Daeyeop Lee, Hwanjo Yu · 2026-07-13 · Findings of ACL 2026 · DOI 10.18653/v1/2026.findings-acl.1942
文本侧压缩路线:GSM8K / StrategyQA / ARC-Challenge 上砍 31–53% token 不掉点(abs 页核到 31–53%,HTML 未逐条核)。
PathCal —— 状态感知校准 / 犹豫标记分类
已撤回
—— · —— · 原工具标注为「arXiv:2605, 2026-05」
🔴 只有年月没有编号,arXiv 无此号;其「40% 推理加速」的数字也无出处。2026-09-28 已从本站全部引用中删除。

🔗 对照工具与深链

阅读顺序建议:先问「这些 token 到底有没有承载计算」(推理剧场)→ 再问「算力分得好不好」(本工具)。 若你跳过第一步直接优化 token 分配,会默认 CoT 文本是内部计算的忠实投影——而 arXiv:2603.05488 说明这个前提在简单题上不成立。