读心术军备竞赛
可解释性四代兵器谱——SAE · AO · NLA · J-Lens 的演进时间线、兵器卡与局限矩阵
🔭 读心术军备竞赛
从「看神经元」到「问模型」到「让模型说人话」到「算梯度看隐藏工作区」—— 每一代读心术都在逼近模型"未说出口的想法"，但每一次都留下新的信任裂缝。这里拒绝一边倒，把四代兵器的局限一起摆上台面。
演进时间线
→
→
→
每一次换代都在逼近"未说出口的想法"，但信任裂缝从未愈合。
看神经元：把激活拆成稀疏特征向量
激活值 a(l)
原始神经元激活
稀疏编码
→ 稀疏特征向量
重构
a'(l) ≈ a(l)
特征粒度
神经元级
人类可读性
低
忠实度
线性精确
代表案例
- ⭐Anthropic「Golden Gate Claude」——放大"金门大桥"特征让模型对一切金门大桥化
- ·特征分裂/特征死亡：同一概念碎成多个不可解释子特征
⚠️ 局限（拒绝一边倒）
- ▸线性假设：非线性交互读不到
- ▸特征是"神经元级"，人类难直接理解
- ▸训练 + 推理双重重成本
第一代：首次把"可解释"变成"可操作"，但特征语言对人类仍是黑话。
问模型：有监督训练模型回答关于激活的定向问题
激活值 a(l)
某个 token 的激活
有监督 Oracle
训练模型回答定向问题
定向答案
"它是否提到 X？"
特征粒度
定向概念
人类可读性
中（定向问答）
监督成本
需标注数据
代表案例
- ⭐Karvonen et al. 2025 训练 Oracle 探测激活中的特定概念
- ·Pan et al. 2026 扩展至更复杂的概念组合
⚠️ 局限（拒绝一边倒）
- ▸需要大量有监督标注数据
- ▸只能回答"被问过"的问题，泛化差
- ▸Oracle 自身可能被"训练到想说谎"
第二代：从"被动拆特征"到"主动提问"，但每问一个新问题都要重新训练。
说人话：激活 → 人话 → 激活
激活值 a(l)
AV 语言化器
自然语言解释
"我想..."
重构激活
AR 重构器 → a(l)
FVE
0.6-0.8
整体指标
审计提升
4-5x
<3% → 12-15%
训练方式
无监督 + RL
代表案例
- ⭐grab it→rabbit 押韵预规划 + 因果干预改写输出
- ·工具调用误报：静默否决被篡改的工具输出
- ·vodka→俄语：训练数据污染根因揭示
⚠️ 局限（拒绝一边倒）
- ▸confabulation：会虚构它以为看到的细节
- ▸私码：虚假措辞也能重建（5/5 运行）
- ▸对偶架构 + RL 训练成本高
第三代：第一次让解释"人类可读"，但重建 ≠ 忠实——信任裂缝初现。
算梯度：每个词对激活模式的 Jacobian 效应
词 → 激活的梯度
Jacobian 效应
J-space 投影
隐藏推理工作区
静默概念
fake / injection / spider
J-space 占比
<10% 计算量
消融效应
多跳/类比/翻译崩溃
保留能力
分类 + 事实记忆完好
代表案例
- ·边抄边心算 3²-2：输出"正确"但 J-space 揭示它在无声计算
- ·概念劫持：soccer→rugby 蝴蝶效应波及下游输出
⚠️ 局限（拒绝一边倒）
- ▸需逐模型计算 Jacobian，跨模型迁移弱
- ▸概念粒度粗：只有词级标签
- ▸对抗鲁棒性未知，易被对抗样本干扰
第四代：从"翻译激活"转向"算梯度看隐藏工作区"，揭示模型真正的计算空间。
局限矩阵
横轴范式 × 纵轴局限维度。绿色=好、黄色=中、红色=差。注意：没有一代读心术是完 美的。
| 局限维度 | SAE | AO | NLA | J-Lens |
|---|---|---|---|---|
可读性 解释能否被人类直接理解 | 差 | 中 | 好 | 中 |
忠实性 解释是否忠实于真实计算 | 中 | 中 | 差 | 中 |
成本 训练与推理的算力开销（值高=成本低） | 差 | 差 | 差 | 好 |
跨模型 能否迁移到其他模型 | 中 | 差 | 好 | 差 |
对抗鲁棒 对抗样本下是否稳定 | 差 | 差 | 差 | 差 |
🗣️ AI「心里话」解码器 3.0
NLA 逐 token 解码 + 因果干预 + 审计官游戏 + 读心术怀疑论
🧠 J-Lens：AI 未说出的话
J-space 隐藏工作区 · 无声计算 · 概念劫持 · 意识阈值
🧭
结论：四代读心术不是"谁替代谁"，而是"各补一块拼图"。SAE 给了可操作的稀疏特征，AO 给了定向提问， NLA 给了人话解释，J-Lens 给了隐藏工作区。但每一代都留下信任裂缝——可解释性的终极问题不是"看得更深"， 而是"如何证明我们看到的不是幻觉"。