隐式推理可视化实验室

CoT 压缩 · 推理范式对决 · Overthinking 探测 · 论文速览——基于 Heima / RoT / State-Transition 三篇 2026 论文

🗜️ CoT 压缩工作台 3.0

8 场景 + 用户自定义 CoT + 段落感知滑动窗口 + 压缩质量评分（BLEU-4 + 关键概念召回率）。 拖动压缩滑块看 CoT 如何被压缩为 thinking tokens，参考 Heima 段落感知算法。

保留率滑块（段落感知）100%

🔴 2026-09-13 修正：滑杆方向原是反的——旧的阈值写成 level/100， 导致 10% 一侧几乎全留、90% 一侧反而只剩结论 token，与两端标签完全相反。 现改为 (100 − level)/100，滑杆语义 = 保留率，与下方标签一致。

10% 极致压缩100% 完整 CoT

原始 CoT（24 tokens · 数学）

设方程f(x)=2x³-3x²+5x-7，求f'(2)。首先求导f'(x)=6x²-6x+5，代入x=2得f'(2)=6·4-6·2+5=24-12+5=17。所以导数在x=2处为17
推理 计算 结论 思考 冗余

压缩后（24/24 tokens）

设方程f(x)=2x³-3x²+5x-7，求f'(2)。首先求导f'(x)=6x²-6x+5，代入x=2得f'(2)=6·4-6·2+5=24-12+5=17。所以导数在x=2处为17
0%
Token 减少
100%
信息保留
100
保真度（= 信息保留）
0%
信息损失
压缩效率1.00×保留 token 的平均信息密度 ÷ 全体平均密度
≥ 1：删掉的确实是低信息 token

🔴 2026-09-13 修正：原先的「压缩质量 = 100 − (100−保留率)×1.5 + 压缩率×0.3」对压缩率单调递增， 存在「再多删一点反而加分」的区间。现在质量分就是保真度（关于压缩强度单调不增）， 「划不划算」单独用上面这个压缩效率衡量。

💡 Heima 的段落感知压缩

段落感知算法不是简单的"硬阈值过滤"，而是保留关键结论+上下文窗口，丢弃中段冗余。 ⚠️ 旧文案称「评分综合考虑 BLEU-4 流畅度 + 关键概念召回率」——本工具并没有算 BLEU-4， 也没有人工标注的关键概念真值；importance 是本工具的启发式打分，不是模型或人工标注。

这个工具里哪些数字是真的

📖 已回源 / 文献值
  • · 7 个 arXiv ID 中 4 个已 abs 页验真：2602.01198（State-Transition，ICLR 2026，7 作者）、2606.13862（SuperThoughts，7）、2606.03768（HybridThinker，11）、2602.20945（The Art of Efficient Reasoning，4）
  • · 2510.11977 = Holistic Agent Leaderboard（31 作者；9 模型 × 9 基准、21,730 rollouts、约 $40,000）。ID 与数据为真，但它是 agent 评测论文——本工具原先套用的「最贵 ≠ 最佳」已撤回，原文 surprising insight 是「higher reasoning effort reducing accuracy in the majority of runs」
  • · 2506.02867（MI Peaks，6 作者）与 2603.15500（Strategic Information Allocation，6 作者）ID 验真存在，但本工具的「MI 曲线」并未实现它们的方法
  • · Heima / Render-of-Thought / TIV 三篇：查不到可靠 arXiv ID，编号已撤（原先是 2508.XXXXX 一类占位符，且与其发表月份自相矛盾），其会议与月份同样未经一手源核实
🧮 浏览器内真算
  • · CoT 压缩：按 type + importance 阈值真过滤，token 数 / 信息保留率 / 压缩效率均由当前输入实算
  • · Pareto 前沿：扫描线算法按基准分组各扫一条（可切「混池」看被 GSM8K 垄断的错误示范）
  • · 三条件验证：对算出的显著度序列逐条判定 Prior Failures / Prior Stability / Performance Gain
  • · Overthinking Δ 视图：相对各自甜蜜点的差值实时计算
⚠ 教学模型 / 示意值 / 构造文本
  • · 5 条 Overthinking 曲线是同一模板参数化的示意曲线，且各测不同基准（R1→AIME24 / Claude→GSM8K / GPT-5.4→MATH500 / Gemini→AIME25 / Qwen→GPQA-Diamond），不是五份独立实测
  • · 5 条 Aha 样本全部是人工构造的示意文本（中文改写 + 手动插入 Wait/Hmm/Therefore），不是任何模型的真实输出
  • · 「MI / 显著度」是关键词命中数的线性累加，不是信息论互信息；词表含 so / let / me / but / first 等高频词，一句话命中 3 个词就饱和到 1.0
  • · 7 个范式的 benchmark 分数、tokenMultiplier、kvCacheMB 均为本工具内置数值，用于演示算法，不是实测；token 消耗是 tokenMultiplier × 1000 的换算值
  • · 三条件验证的判据是本工具自定义，无论文出处（原标的「CSDN 2501.85327249」不是合法 arXiv ID，已移除）
  • · 压缩用的 importance 是启发式打分，不是人工标注真值，也没有算 BLEU-4
  • · 动量策略「AIME 上节省 40% 计算量」为论文说法，本工具的成本节省是粗估
⚠️ 本工具不调用任何模型或后端服务。2026-09-13 一次性修正 6 项 P0（占位符 arXiv ID 渲染进 UI、 HAL 结论被改写 + 领域错配、Pareto 混池、「真实样本」来源不成立、跨基准曲线并列、零诚实性标注 + CSDN 非法引用） 与 5 项 P1（质量分对压缩率非单调、infoRetention 分母取错、MI 假指标、成本节省 ×1.4 无出处、PARADIGMS/PAPERS 双份数据）。