论文精读

精读：GRAM——给危险知识装一个可拆卸模块

Anthropic 提出梯度路由辅助模块（GRAM），在预训练阶段将双重用途知识隔离到可移除模块，单次训练近似多个数据过滤模型，为 AI 能力级访问控制开辟新路径

论文： Modular Pretraining Enables Access Control
作者： Ethan Roland, Murat Cubuktepe, Erick Martinez, Stijn Servaes, Keenan Pepper, Mike Vaiana, Diogo Schwerz de Lucena, Judd Rosenblatt, Addie Foote, Cem Anil, Alex Cloud
arXiv： 2607.08077
GRAM AI安全 模块化预训练 能力控制 双重用途知识 梯度路由 Anthropic ICML-2026

1 论文概览

一句话总结：GRAM 在预训练阶段通过梯度路由将双重用途知识隔离到可移除的辅助模块中，使单次训练的模型可通过删除模块精确控制能力配置，近似多个数据过滤模型的效果。

核心问题：前沿 AI 模型包含大量双重用途知识——同一能力既可造福社会也可被滥用。现有安全措施（拒答训练、分类器）仅作用于输出层，知识本身仍在模型中，可被越狱攻击绕过；数据过滤能从根源移除知识，但每种能力配置都需要单独训练一个模型，成本对前沿模型而言不可接受。

主要贡献：

  1. 提出 GRAM 框架——Gradient-Routed Auxiliary Modules，在 Transformer 每层 MLP 中嵌入辅助模块，通过梯度路由实现知识隔离与能力可控
  2. 验证单次训练近似多模型——4 个辅助模块可组合出 16 种能力配置，5 倍训练成本节省
  3. Chinchilla-optimal 缩放分析——从 50M 到 5B 参数，证明 GRAM 随规模增大效果增强（遗忘差距扩大、保留差距稳定）
  4. 抗微调恢复优于事后遗忘——GRAM 移除模块后的能力恢复难度接近数据过滤，而 MaxEnt 等事后遗忘方法仅抑制而非移除知识
  5. ICML 2026 接收——Anthropic + AE Studio 合作，代码开源

2 方法详解

架构概述

GRAM 的核心思想极其简洁：不是让模型”学会但不输出”，而是让模型”根本不知道”。

具体架构：

  • 在标准 Transformer 的每一层 MLP（“Core”）旁边，为每个双重用途类别添加一组辅助模块（auxiliary module）
  • 辅助模块本质上是 MLP 的宽度扩展，与 Core 共享输入，输出相加
  • 每个辅助模块对应一类双重用途能力（如病毒学、网络安全、核物理、专业代码）
标准 MLP:    x → Core → y
GRAM MLP:    x → Core → y_core
             x → Aux_Virology → y_viro
             x → Aux_Cyber → y_cyber
             ...
             y = y_core + y_selected_aux

关键创新点：梯度路由

训练时的梯度路由机制是 GRAM 的核心创新：

  1. 通用数据训练：正常更新所有参数，偶尔随机激活一个辅助模块（确保模型在通用数据上对所有配置都有良好表现）

  2. 双重用途数据训练：

    • 前向传播：模型可使用通用权重（Core）+ 对应辅助模块预测下一个 token
    • 反向传播：梯度主要路由到对应辅助模块，通用权重以概率 pasp_{as} 更新（或完全冻结）
    • 效果：双重用途知识”写入”对应模块，而非扩散到整张网络

  3. 推理时控制：激活 Core + 允许的辅助模块，删除其他模块即可移除对应能力

“the model can use its general knowledge to make predictions, but only the virology module is allowed to learn from that text. The general-purpose weights are temporarily frozen.” —— Anthropic 官方博客

关键设计参数：pasp_{as}

pasp_{as} 控制双重用途数据训练时通用权重更新的概率，是知识隔离程度的核心旋钮：

  • pas=0p_{as} = 0：通用权重完全冻结，最强隔离
  • pas=1p_{as} = 1：通用权重正常更新，退化为标准训练
  • 论文默认设置：pasp_{as} 取较小值，平衡隔离性与通用性能

与基线方法的区别

方法知识隔离时机移除机制训练成本多配置支持
数据过滤预训练前从不训练N 次训练（N=配置数）每次重新训练
拒答训练/分类器无隔离输出拦截1 次不支持
事后遗忘（MaxEnt等）训练后抑制激活1 次 + 遗忘不支持
LoRA微调时删除 adapter1 次预训练 + N 次微调N 个 adapter
GRAM预训练时删除模块1 次2N2^N 种组合

GRAM 与 LoRA 的关键区别在于隔离发生在预训练阶段而非微调阶段。LoRA 先训练一个过滤模型，再通过微调加回能力；GRAM 在预训练过程中就将能力路由到独立模块。这意味着 GRAM 的模块从”学习”的第一步就与通用权重解耦，而 LoRA 的 adapter 需要在已经缺失相关知识的过滤模型上”补回来”。

3 实验结果

核心指标：Compute Ratio

论文使用 Compute Ratio 作为主要评估指标——某模型达到基线（全数据模型）特定 loss 水平所需的相对训练计算量：

  • Compute Ratio = 1.0：匹配全数据基线
  • Compute Ratio = 0.5：只需 50% 计算量达到相同 loss
  • 越接近 1.0 在保留能力上越好，越接近 0 在遗忘能力上越好

实验一：合成数据验证（SimpleStories）

  • 设置：26M 参数，8 层 Transformer；200 万篇儿童故事，48 个主题（4 个辅助 + 44 个核心）
  • 结果：
    • 模块开启时，GRAM 性能与全数据训练模型相同
    • 模块移除后，GRAM 性能接近从未在该主题训练的过滤模型
    • 4 个模块产生 16 种配置，每种配置都展现相同的开关效应

实验二：真实双重用途数据

  • 设置：800M 参数；通用数据 160 亿 token + 4 个风险域各约 4000 万 token（约 0.25%）
  • 四个风险域：病毒学、网络安全、核物理、专业代码
方法遗忘效果保留效果抗微调恢复
数据过滤≈基线≈基线强
GRAM≈过滤≈过滤（部分更好）≈过滤
LoRA≈过滤≈过滤≈过滤
MaxEnt表面有效一般弱——微调后恢复至全数据基线

关键发现：MaxEnt 等”事后遗忘”方法只是在抑制知识，并未真正移除。少量恶意微调即可恢复被”遗忘”的能力。而 GRAM 和数据过滤的恢复难度显著更高。

实验三：缩放分析（50M → 5B）

7 个 Chinchilla-optimal 模型，双重用途数据始终占通用数据的 1%：

核心发现——规模越大，隔离越好：

  • 遗忘领域的差距随规模扩大而增大：更大模型在移除能力后离全数据基线更远，微调后恢复的性能也更少
  • 保留领域的差距保持稳定：通用和保留能力始终接近全数据基线
  • GRAM 和 LoRA 在所有规模上都紧贴数据过滤的性能

训练成本：GRAM 和 LoRA 仅需数据过滤方法的五分之一训练计算量。

消融实验关键发现

  1. 组合性（GRAM 独特优势）：4 个辅助模块同时开启时，GRAM 各领域性能保持不变；LoRA 多 adapter 叠加后每类性能均下降

  2. 部分标注下的隔离：仅 50% 训练数据有标注时，GRAM 的隔离效果优于数据过滤——未标注数据训练时所有模块同时参与，相关模块仍有机会学到应有的内容

  3. 抗微调恢复：数据过滤、LoRA 和 GRAM 对恶意微调均表现出较强鲁棒性；MaxEnt 微调后能力恢复至接近全数据基线

4 个人分析

亮点

1. 安全范式的根本性转换

GRAM 最深刻的意义在于将 AI 安全从”行为控制”推进到”知识控制”。

“These layers of protection guard against dangerous outputs—but they don’t change the knowledge stored in the underlying model.” —— Anthropic 官方博客

拒答训练和分类器是”锁门”——知识还在房间里，只是门被锁了；GRAM 是”清空房间”——知识本身就不在。这一范式转换对 AI 安全领域具有持久影响。

2. 梯度路由的工程优雅

没有学习路由器，没有 token 级动态路由，仅通过训练数据标签和梯度冻结/解冻实现知识隔离。这种极简设计意味着：

  • 推理时零额外计算开销（模块就是标准 MLP 的宽度扩展）
  • 无路由器训练不稳定性
  • 工程实现简洁（论文已开源）

3. 规模趋势的反直觉积极信号

通常安全措施随规模增大而弱化（更大的模型更难约束），但 GRAM 呈现相反趋势：更大模型的模块化隔离效果更强。这对前沿模型的安全前景是一个积极信号。

4. 组合性的工程价值

2N2^N 种配置意味着一个 GRAM 模型可替代 2N2^N 个独立过滤模型。在 4 个风险域的场景下，16 种配置可覆盖从”全开放”（可信实验室）到”全封闭”（公众部署）的完整信任梯度。

局限性

1. 评估指标的间接性

Compute Ratio 基于 next-token prediction loss，不是下游任务成功率。一个在 loss 上”遗忘”了病毒学知识的模型，是否真的无法回答危险问题？loss 和真实能力之间的映射关系尚未建立。

2. 能力纠缠的根本性难题

论文承认：“some dual-use capabilities might be so entangled with general knowledge that no method can separate them cleanly.”例如，普通生物学知识与高级病毒学知识之间没有天然边界。如果隔离过强，模型可能丧失正常科研能力；隔离过弱，风险知识仍会残留。这不是 GRAM 的问题，而是所有能力控制方法的共同天花板。

3. 前沿规模的未验证性

实验仅到 5B 参数，离前沿模型（数百 B 到 T 级）还有数量级差距。缩放趋势在更大规模上是否持续，是 GRAM 能否进入生产的关键未知数。

4. 指令微调的空白

预训练后还需要指令微调（SFT + RLHF），这一阶段的知识是否会”回流”到通用权重？论文明确指出这是一个未探索的方向。如果 SFT 阶段使用的数据包含双重用途内容，模块隔离可能被打破。

5. 微调恢复的威胁模型不够严格

Pith 审阅指出：“The abstract does not specify the fine-tuning budget, number of steps, or threat model assumed.”一个有决心的攻击者可能投入大量计算进行微调，此时 GRAM 的恢复阻力是否仍然足够？

对大模型领域的影响

短期：GRAM 为 AI 安全工具箱增加了一个预训练级选项，填补了”数据过滤太贵、拒答训练太弱”之间的空白。对 Anthropic 自身，这是一条与 Constitutional AI 互补的安全路径。

中期：如果 GRAM 在更大规模上验证成功，能力级访问控制可能成为 AI 治理的行业标准。监管机构可要求模型提供者证明”特定能力不可访问”而非仅证明”特定输出被拒绝”。

长期：GRAM 的模块化预训练思想可能超越安全领域，成为多能力模型的通用训练范式——按需组合的能力模块使单一模型服务差异化部署场景，大幅降低多模型维护成本。

与同系列论文的对话：GRAM 与本专栏前期论文形成深层呼应——SAR（谱重连）证明 RL 增益集中在 0.58% 参数中，One Layer Enough 证明 RL 增益集中在单个中间层，GRAM 则将”知识可分离性”推到预训练阶段：如果危险知识能被隔离到独立模块，那么”全参数等权更新”的默认假设就更值得质疑。

5 实践启示

可以借鉴的技术

  1. 梯度路由作为通用隔离机制：不限于安全场景，任何需要”能力分区”的预训练都可使用——例如中英双语模型的”语言隔离模块”，或专业领域模型的”领域隔离模块”

  2. pasp_{as} 旋钮的工程价值：概率性通用权重更新是隔离与性能的精细调节器，可作为超参数搜索的新维度

  3. Compute Ratio 指标：适合在训练成本与能力控制之间做定量权衡，可推广到其他需要评估”遗忘-保留”权衡的场景

  4. 组合性设计：2N2^N 配置思想可应用于多租户 AI 服务的差异化部署

潜在应用场景

  1. 受控部署：可信实验室获得包含专业知识的完整模型，公众获得移除敏感模块的版本

  2. 合规审计：监管机构可通过检查模块配置验证模型是否具备特定危险能力，而非仅检查输出行为

  3. 多租户 AI 平台：同一基础模型按客户需求组合不同能力模块，避免维护多个独立模型

  4. 渐进式能力发布：新能力先以模块形式训练，经安全审查后再决定是否纳入公开发布版本

  5. 研究与反思：GRAM 的能力纠缠难题直接指向一个深层问题——人类知识本身是否可以被干净地分类隔离？如果答案是否定的，那么所有能力控制方法都存在根本性上限，AI 安全可能需要从”控制知识”转向”控制使用”