预训练数据的安全防线：从 Safety Pretraining 到 Deep Ignorance，当安全从「事后修补」变成「源头工程」

本期主题：当安全不再是后训练的事

前 19 期我们系统覆盖了预训练数据工程的技术全景——去重、过滤、配比、合成、管线、多模态。但有一个维度我们一直在回避：这些万亿 token 的训练数据里，有多少有害内容？它们会给模型带来什么？我们能做什么？

这不是一个边缘话题。2025-2026 年发生了三件事，把预训练数据安全从”后训练团队的事”变成了”数据工程团队必须正面应对的核心问题”：

1. 后训练安全被证明是脆弱的。 Meta 的 Persistent Pre-Training Poisoning 研究表明，仅 0.1% 的投毒数据就能在 SFT + DPO 之后仍然持续生效。换句话说——后训练安全对齐无法清除预训练阶段引入的隐患。
2. 模型越大，越容易被”教坏”。 Scaling Laws for Data Poisoning 在 24 个前沿模型（1.5B-72B）上证明，大模型对数据投毒显著更脆弱、学习有害行为更快。规模不是护城河，而是放大器。
3. 监管落地了。 EU AI Act 于 2025 年 8 月 2 日对新模型生效，2026 年 8 月 2 日开始执法。训练数据透明度模板已于 2025 年 7 月发布——网络抓取数据必须披露前 10% 的域名来源，合成数据必须标注。

预训练数据安全的认知演进：

2022-2023（被动期）：
  "我们用 NSFW 分类器过滤了色情内容"
  → 安全 = 关键词黑名单 + 色情过滤
  → 其他有害内容？"后训练会处理的"

2024（觉醒期）：
  投毒实验证明后训练安全是脆弱的
  → 开始意识到预训练阶段的安全责任
  → 但方法论尚未成熟

2025-2026（系统化期）：
  Safety Pretraining / Deep Ignorance / Anthropic 实验
  → 从源头系统性地解决安全问题
  → 过滤 + 改写 + 主动拒绝数据 + 标签标注
  → 预训练安全成为数据工程的一等公民

本期从五个层次展开这场范式变革：预训练安全的四步框架（Safety Pretraining）、靶向有害知识过滤的实证（Anthropic）、“深度无知”作为防篡改机制（Deep Ignorance）、数据投毒的 Scaling Laws、以及隐私与合规的新现实（PII 涟漪效应 + EU AI Act）。

---

一、Safety Pretraining：从”先学后改”到”边学边安全”

1.1 事后对齐的根本困境

Safety Pretraining: Toward the Next Generation of Safe AI (Maini, Goyal, Sam, Robey, Savani, Jiang, Zou, Fredrikson, Lipton, Kolter / CMU + Gray Swan AI / 2025)

当前主流的 LLM 安全流程是”先学后改”——在数万亿 token 上预训练，让模型学会一切（包括有害内容），然后在后训练阶段通过 SFT/RLHF/DPO 教模型”拒绝”有害请求。

这个范式的根本问题是：模型已经学会了有害知识，后训练只是在表面上教它”不说”。 这就像一个人已经掌握了制造炸弹的方法，你只是反复告诉他”不要说出来”——在足够巧妙的诱导下，他终究会说。

Safety Pretraining 提出了一个范式级的替代方案：不要等训练完再修补，而是在预训练数据层面就系统性地解决安全问题。

1.2 四步安全框架

步骤	名称	方法	逻辑
①	安全过滤	训练安全分类器，标记并移除不安全的网页数据	最直接的防线：不让模型接触有害内容
②	安全改写	将不安全的网页内容重新上下文化，改写为安全的叙述	保留信息价值，消除有害表达
③	原生拒绝	构建 RefuseWeb + Moral Education 数据集，预训练阶段就教会模型拒绝	不依赖后训练，让”拒绝”成为预训练习得的能力
④	有害标签标注	用特殊 token 标记不安全内容，推理时利用标签引导	即使少量有害数据漏网，也有运行时的安全机制

Safety Pretraining 四步框架的层次关系：

Layer 1  安全过滤（阻断）
  ├── 移除明确有害的内容
  └── 第一道防线，但不可能完美（假阳/假阴）

Layer 2  安全改写（转化）
  ├── 对"有信息价值但表达有害"的内容做改写
  └── 与 Vol.18 SwallowCode 的 transform-and-retain 思路一致
  
Layer 3  原生拒绝（主动防御）
  ├── RefuseWeb：将 Web 数据改造为拒绝场景的训练数据
  ├── Moral Education：教模型理解"为什么要拒绝"的道德推理
  └── 让拒绝成为预训练习得的能力，而非后训练贴上的补丁

Layer 4  标签标注（运行时守护）
  ├── 不安全内容被特殊 token 标记
  └── 推理时检测标签 → 触发安全行为

关键洞察：四步不是”选一个”，而是”全部叠加”。 任何单一方法都有盲区，但四层叠加后形成了纵深防御。

1.3 核心结果

攻击成功率从 38.8% 降至 8.4%，同时通用能力无退化。

这个结果的工程含义非常重要：

• 78% 的攻击被阻断——不是通过更强的对齐微调，而是通过预训练数据的工程改造
• 能力没有损失——这回应了一个常见担忧：“过滤有害内容是否会损害模型能力？“答案是：不会，如果你的方法足够精细
• 对比基线：仅用后训练安全对齐（SFT+DPO），攻击成功率仍高达 38.8%

对实践的启示：Safety Pretraining 最有价值的不是”攻击成功率降了多少”，而是它证明了一件事——预训练数据层面的安全干预，比后训练安全对齐更有效，且不损害能力。 这意味着数据工程团队不能再把安全推给后训练团队。具体建议：(1) 在数据管线中加入安全分类器（可以从简单的关键词+fastText 开始），先测量你的训练数据中有害内容的比例；(2) 对”有信息价值但表达有害”的内容，考虑 LLM 改写而非直接丢弃——这与 Vol.17-18 讨论的 transform-and-retain 范式一致；(3) 构建少量拒绝场景数据混入预训练——不需要很多，但效果显著。

---

二、Anthropic 的 CBRN 数据过滤实验：一个工程化案例

2.1 从理论到实操

Enhancing Model Safety through Pretraining Data Filtering (Chen, Tucker, Panickssery, Wang, Mosconi, Gopal, Denison, Petrini, Leike, Perez, Sharma / Anthropic / 2025 年 8 月)

Safety Pretraining 提出了框架，Anthropic 给出了一个具体领域的工程化实践：从预训练数据中移除 CBRN（化学、生物、放射、核武器）知识。

为什么聚焦 CBRN？因为这是最明确的”不应该教给模型”的知识类别——如何合成危险化学品、如何培养病原体等。与”毒性内容”（仇恨言论、偏见）不同，CBRN 知识的”有害性”几乎没有争议，这让过滤决策更清晰，也让效果更容易量化。

2.2 六种分类器的对比实验

Anthropic 测试了六种从简单到复杂的分类方案：

方法	骨干	F1	成本	实际效果
Named Entities String Match	无	低	最低	粗粒度，误杀高
FastText	bigram 词袋	中	极低	适合初筛
Holdout Loss（提示版）	Claude 3.5 Sonnet	中高	极高	成本不可接受
Holdout Loss（微调版）	小模型	中	中	有趣但不稳定
Finetuned Constitutional	小模型（远小于 Haiku）	0.94	低	最终选定
Prompted Constitutional	Claude 3.5 Sonnet	0.96	极高	F1 最高但成本不可行

最终选择了 Finetuned Constitutional 分类器——一个微调过的小模型，F1 达到 0.94，且推理成本足以扫描全部预训练语料。

2.3 一个反直觉的发现

Anthropic 原本预期”两步级联”（Finetuned + Prompted，先粗筛再精筛）效果更好。实际实验中，级联方案反而略微提升了 CBRN 能力——可能因为合成评估数据与真实数据存在分布偏移，导致第二步的精筛引入了噪声。

这个发现呼应了 Vol.18 Data-Quality Illusion 的核心教训：更复杂不等于更好。 在数据过滤中，简单但精准的单分类器，往往优于复杂的多步级联。

2.4 核心数字

在选定的阈值（0.939）下：

• CBRN 有害能力下降 33%（准确率从 33.7% 降至 30.8%，相对于 25% 随机基线）
• 5 项通用能力（Prose、Code、MMLU、Natural Science、Math）均无显著下降

Anthropic 实验的成本-效果分析：

投入：
  训练 1 个小型分类器（成本：几千美元级别）
  + 全量预训练语料推理（成本：取决于语料规模）
  + 重新预训练 1 次（成本：与正常预训练相同）

产出：
  CBRN 有害能力 ↓ 33%
  通用能力 ≈ 不变
  
边际成本：
  仅分类器训练 + 推理的成本
  （预训练本身的成本不变——你只是换了一份数据）

对实践的启示：Anthropic 的实验给出了三个可直接执行的工程决策——(1) 用微调的小分类器，不要用大模型做分类——成本低两个数量级，F1 差距仅 0.02；(2) 不要做多步级联，简单的单分类器就够了——级联的复杂度不会转化为更好的过滤效果；(3) 过滤后数据集保持与未过滤数据集相同的样本量（从更大的初始池中构建），这是公平比较的关键——否则你无法区分”过滤的效果”和”数据量变化的效果”。

---

三、Deep Ignorance：让模型从根本上”不知道”

3.1 后训练安全的致命弱点

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs (O’Brien, Casper, Anthony, Korbak, Kirk, Davies, Mishra, Irving, Gal, Biderman / EleutherAI + Anthropic + Oxford / 2025)

Safety Pretraining 和 Anthropic 的实验都在闭源场景下工作。但开放权重模型面临一个独特的威胁：任何人都可以下载权重，然后用有害数据微调几十步，就能绕过所有安全对齐。

这不是假设。现有的安全微调方法在面对 仅几十步 的对抗性微调时就会完全失效。这意味着——对于开放权重模型，后训练安全对齐本质上是纸糊的。

Deep Ignorance 提出了一个哲学上更彻底的解法：与其教模型”知道但不说”，不如让模型从根本上”不知道”。

3.2 核心实验

• 目标领域：生物威胁（biothreat）相关知识
• 方法：构建多阶段数据过滤管线，从预训练语料中系统性剔除生物威胁文本
• 模型：从零预训练多个 6.9B 参数的 LLM（过滤 vs 未过滤）
• 对抗测试：在过滤模型上进行大规模对抗性微调攻击

3.3 结果：鲁棒性提升一个数量级

维度	后训练安全对齐	Deep Ignorance（数据过滤）
抵抗对抗微调	几十步即失效	10,000 步、3 亿 token 仍保持抵抗
鲁棒性量级	基线	提升 >10 倍
通用能力影响	无	无（非相关任务无性能下降）

Deep Ignorance 的逻辑：

后训练安全对齐（"知道但不说"）：
  预训练 → 模型学会 X（有害知识）
  安全对齐 → 模型学会"拒绝说 X"
  对抗微调 → 模型忘记"拒绝"，重新说 X
  → X 一直在权重里，对齐只是表面覆盖

Deep Ignorance（"根本不知道"）：
  预训练（过滤后数据）→ 模型从未学过 X
  对抗微调 → 试图教模型 X
  → 但仅几十到几百步的微调不足以从零学会复杂知识
  → 10,000 步后仍然只学到了部分

关键差异：
  "移除已学知识" vs "从未学过" 是质的不同
  前者容易被逆转，后者抵抗逆转

3.4 局限性

论文诚实地指出了一个重要局限：当危险信息通过上下文提供（如 RAG、搜索工具增强）时，模型仍可利用这些信息。 Deep Ignorance 让模型的内化知识是安全的，但无法阻止外部工具向模型注入危险信息。

这意味着 Deep Ignorance 不是银弹，而是纵深防御中的一层——但可能是最重要的一层。

对实践的启示：对于发布开放权重模型的团队，Deep Ignorance 给出了一个明确的工程指导——在预训练数据中过滤特定领域的有害知识，比任何后训练安全对齐都更鲁棒。 具体操作：(1) 确定你的模型不应具备的知识领域（CBRN 是最明确的候选）；(2) 构建该领域的检测分类器（参考 Anthropic 的经验：微调小模型，F1 > 0.9）；(3) 从预训练语料中系统性移除相关内容；(4) 不要把这当作唯一的安全措施——仍然需要后训练安全对齐 + 运行时检测作为补充层。

---

四、数据投毒的 Scaling Laws：模型越大，越容易被教坏

4.1 投毒的持久性

Persistent Pre-Training Poisoning of LLMs (Zhang, Rando, Evtimov, Chi, Smith, Carlini, Tramèr, Ippolito / Meta FAIR + ETH Zurich + Google / 2024)

在讨论”如何防御”之前，先看看威胁有多严重。这篇论文是首个系统评估预训练投毒在后训练之后是否仍然持续的研究。

四种攻击目标的测试：

攻击类型	最低有效投毒率	后训练后是否持续
拒绝服务（对特定输入停止响应）	0.001%	✅
信念操纵（输出特定错误信息）	0.1%	✅
越狱（绕过安全对齐）	0.1%	✅
提示窃取（泄露系统提示）	0.1%	❌ 部分消退

0.001% 的投毒率意味着什么？ 在一个 1T token 的预训练语料中，只需要 10M token（约 5000 篇文章）的投毒数据就能发动拒绝服务攻击——而且这个攻击会在 SFT + DPO 后训练之后仍然有效。

考虑到预训练数据来自未经审查的网络爬取，5000 篇文章的投毒难度几乎可以忽略不计。

4.2 投毒的 Scaling Laws

Scaling Trends for Data Poisoning in LLMs (Bowen, Murphy, Cai, Khachaturov, Gleave, Pelrine / 2024, 2025 年多次更新)

如果投毒是有效的，那么它的效果会随模型规模变化吗？

在 24 个前沿 LLM（1.5B - 72B 参数）上的实验揭示了一个令人担忧的趋势：

数据投毒 Scaling Laws（示意）：

投毒效果（攻击成功率）
    ↑
    │                         ╱ 72B
    │                       ╱
    │                    ╱
    │                 ╱   13B
    │              ╱
    │           ╱  7B
    │        ╱
    │     ╱  1.5B
    │   ╱
    └──────────────────→ 投毒数据量

核心发现：
  1. 大模型在相同投毒率下，攻击成功率更高
  2. 大模型学习有害行为更快（需要的投毒数据更少）
  3. 规模与风险正相关——模型越大越脆弱

为什么大模型更容易被投毒？ 直觉上有两个解释：

1. 记忆容量更大：大模型有更多参数来”记住”投毒样本中的特定模式，而小模型因容量限制可能”记不住”
2. 泛化能力更强：大模型从少量投毒样本泛化到新场景的能力更强——这本来是优势，但在投毒场景下变成了劣势

对实践的启示：这两篇论文共同指向一个结论——预训练数据安全不是可选项，而是必选项，且对大模型更加紧迫。 具体建议：(1) 不要依赖后训练对齐来”清洗”预训练阶段引入的隐患——实验证明这行不通；(2) 对预训练数据的来源建立审计机制——特别是网络爬取数据，需要检测是否存在系统性的投毒模式；(3) 模型规模越大，数据安全的投资应该成比例增长，而不是维持不变。

---

五、有害内容过滤的工具生态

5.1 HarmFormer：面向 Web 规模的有害内容检测

Towards Safer Pretraining: Analyzing and Filtering Harmful Content in Webscale Datasets for Responsible LLMs (Mendu, Yenala, Gulati, Kumar, Agrawal / IJCAI 2025)

前面讨论的 Safety Pretraining 和 Deep Ignorance 聚焦于框架和方法论，HarmFormer 则聚焦于工具——如何在万亿 token 规模的 Web 数据上高效检测有害内容？

论文的核心贡献是一套完整的有害内容检测工具链：

组件	用途	特点
有害内容分类体系	将有害网页分为 Topical（主题性有害）和 Toxic（毒性有害）	基于意图区分，比粗粒度的”有害/无害”二分更精细
TTP 数据集	高精度评估数据集	覆盖主题性和毒性两个维度
HarmFormer 模型	基于 Transformer 的有害内容分类器	面向 Web 规模推理
HAVOC 基准	多类型开放式毒性基准	测试模型面对对抗性输入的表现

对 Common Crawl、C4、FineWeb 三大数据集的分析揭示了一个被长期低估的事实：即使是被广泛使用的”清洗过”的数据集，其中仍然包含不可忽视比例的有害内容——仇恨言论、错误信息、偏见叙事。

5.2 Toxicity of the Commons：公共领域数据的独特挑战

Toxicity of the Commons: Curating Open-Source Pre-Training Data (Arnett, Jones, Yamshchikov, Langlais / 2024)

这篇论文关注了一个被忽视的角落：公共领域数据（如历史文档、经 OCR 处理的古籍）。这些数据不是来自 Common Crawl，而是来自图书馆数字化项目、公共档案等——它们在形式和内容上与现代网页文本有显著差异。

挑战在于：现有的毒性过滤方法（主要针对现代 Web 文本设计）在公共领域数据上往往失效。历史文档中的种族歧视、性别歧视等内容，在表述方式上与现代仇恨言论完全不同，标准分类器无法识别。

解决方案：开源了 Celadon 分类器，专门针对公共领域数据的毒性检测。分类体系覆盖五个维度——种族/族裔歧视、性别/性歧视、宗教歧视、残障歧视、暴力内容。

---

六、PII 与隐私：你以为删了就安全了？

6.1 隐私的涟漪效应

Privacy Ripple Effects from Adding or Removing Personal Information in Language Model Training (Borkar, Jagielski, Lee, Mireshghallah, Smith, Choquette-Choo / Google + UMass + UW / ACL 2025 Findings)

训练数据中的个人可识别信息（PII）——姓名、邮箱、电话、地址——是预训练数据安全的另一个核心维度。常规做法是：检测到 PII 就删除。但这篇 ACL 2025 论文发现了三个令人不安的事实：

发现	含义	影响程度
辅助记忆	后续训练数据中外观相似的 PII 会”唤醒”模型对早期 PII 的记忆	最高占记忆化的 1/3
添加 PII 放大泄露	新增 PII 导致模型对其他已有 PII 的记忆显著增强	其他 PII 记忆量增幅 7.5 倍
删除 PII 引发新泄露	移除某些 PII 反而导致模型记忆其他 PII	对”被遗忘权”的直接挑战

PII 隐私的涟漪效应：

传统假设（线性模型）：
  删除 PII_A → PII_A 不再被记忆 ✅
  添加 PII_B → 只有 PII_B 可能被记忆 ✅
  → 数据管理 = 简单的增删操作

实际行为（涟漪模型）：
  删除 PII_A → PII_A 记忆降低 ✅
                → PII_C, PII_D 记忆反而增加 ❌
  
  添加 PII_B → PII_B 被记忆 ✅
              → PII_A, PII_C 的记忆也增强 ❌
              → 增幅高达 7.5 倍

  训练后期出现 PII_E（与 PII_A 格式相似）
              → "唤醒"对 PII_A 的记忆 ❌
              → 即使 PII_A 只在早期训练中短暂出现

核心结论：
  PII 记忆不是孤立的——它是模型的动态属性，
  会在整个训练流程中互相影响。

6.2 对数据工程的实践影响

这些发现对预训练数据管线的 PII 处理提出了更高要求：

1. 不能只做一次 PII 扫描。数据集的每次更新（重新爬取、新增微调数据）都可能改变已有 PII 的泄露风险。
2. PII 替换优于 PII 删除。直接删除 PII 可能引发涟漪效应，用语义等价但不可识别的替代文本（如”[NAME]”、“[EMAIL]“）替换可能更安全。
3. 需要全局的隐私评估，而非逐条的 PII 检测。当你处理一个包含百万级 PII 的数据集时，添加或删除任何子集都可能改变其他 PII 的泄露概率。

---

七、合规：EU AI Act 训练数据透明度新规

7.1 时间表

时间节点	事项
2025.7.24	欧盟委员会发布训练数据透明度最终版官方模板
2025.8.2	规则对新模型正式生效
2026.8.2	开始执法
2027.8.2	现有模型合规截止

7.2 关键披露要求

EU AI Act 要求所有通用人工智能（GPAI）模型提供者披露训练数据信息，模板包含三大类：

一般信息：模型标识、模态类型、训练数据规模范围、语言特征。

数据来源（这是对数据工程最直接的要求）：

数据类型	披露要求
公开数据集	名称、来源、许可证
授权/许可内容	授权方和许可条款
网络抓取数据	必须披露前 10% 的域名来源
用户数据	使用方式和同意机制
合成/AI 生成数据	必须标注

法律合规：版权保留声明、版权尊重措施、非法内容移除措施。

EU AI Act 对数据管线的影响：

Before（无合规要求）：
  Common Crawl → 过滤 → 训练
  → 不需要记录域名来源
  → 合成数据混入也不需要标注
  → 没有版权移除的审计要求

After（合规要求）：
  Common Crawl → 记录每个文档的域名来源 → 过滤
  → 必须能生成"前 10% 域名来源"报告
  → 合成数据必须打标签
  → 版权保留/移除必须可审计
  
工程影响：
  ├── 数据管线需要增加 metadata tracking 层
  ├── 域名来源的统计模块（WebOrganizer Vol.18 的域标注正好可用）
  ├── 合成数据标注系统（每条合成数据标记来源模型和生成时间）
  └── 版权内容的检测和移除审计日志

对实践的启示：EU AI Act 已经生效。即使你的团队不直接在欧盟运营，但如果你的模型可能被欧盟用户使用，你就需要合规。具体建议：(1) 现在就开始在数据管线中追踪 metadata——域名来源、数据类型（原始/合成/授权）、处理步骤。事后补这些信息几乎不可能；(2) 给合成数据打标签——Vol.17 讨论的 Nemotron-CC 合成回收数据、Vol.18 的 SwallowCode 重写数据，都需要在管线中标注为合成数据；(3) Vol.18 WebOrganizer 的域标注框架在合规场景下有了新的价值——它可以直接产出”前 10% 域名来源”报告。

---

预训练数据安全工程全景

预训练数据安全的五层纵深防御：

Layer 1  数据溯源与审计（基础设施层）
  ├── 域名来源追踪（EU AI Act 合规）
  ├── 合成数据标注
  ├── 版权内容检测
  └── 投毒检测（异常模式扫描）

Layer 2  有害内容过滤（阻断层）
  ├── 毒性过滤：HarmFormer / Celadon / 自训分类器
  ├── CBRN 过滤：Anthropic 式微调分类器（F1 > 0.94）
  ├── PII 检测与替换（注意涟漪效应）
  └── 偏见内容标记与处理

Layer 3  安全改写（转化层）
  ├── 有信息价值的有害内容 → LLM 安全改写
  └── 保留知识，消除有害表达

Layer 4  安全训练数据（主动防御层）
  ├── RefuseWeb：拒绝场景训练数据
  ├── Moral Education：道德推理训练数据
  └── 让"拒绝有害请求"成为预训练习得的能力

Layer 5  运行时守护（最后防线）
  ├── 有害标签标注 + 推理时检测
  └── 后训练安全对齐（SFT/RLHF/DPO）作为补充

各层的鲁棒性对比：
  Layer 1-4（预训练阶段）：抵抗 10,000+ 步对抗微调
  Layer 5（后训练阶段）：几十步对抗微调即可突破
  → 安全投资应该向前移

---

本期思考

回顾本期讨论的全部工作，一个核心认知转变正在发生：预训练数据安全正在从”Nice to have”变成”Must have”，从后训练团队的附属工作变成数据工程团队的一等公民。

三条证据链支撑这个判断：

第一，后训练安全被证明本质上是脆弱的。 Meta 的投毒实验（0.1% 即可持续）和 Deep Ignorance 的对比实验（后训练安全几十步即破，数据过滤万步不破）共同指向同一个结论——在模型已经学会有害知识之后再教它”不说”，是一种不可靠的安全机制。真正鲁棒的安全，必须在预训练数据层面实现。

第二，Scaling Laws 把问题放大了。 模型越大，对数据投毒越脆弱。这意味着随着预训练规模的持续扩大，数据安全的重要性不是线性增长，而是超线性增长。一个 7B 模型的数据安全投入，到 70B 时可能需要数倍的投资才能维持同等水平。

第三，监管让这成为法律义务。 EU AI Act 不是远期愿景——它已经生效，2026 年 8 月开始执法。训练数据透明度、有害内容移除的可审计性、PII 保护——这些不再是”最佳实践”，而是法律要求。

给数据工程团队的行动清单：

1. 本周可做：测量你的预训练数据中有害内容的比例。用 HarmFormer 或训练一个简单的 fastText 分类器，对 C4/FineWeb/你的自定义语料做一次全量扫描。你可能会对结果感到惊讶
2. 本月可做：在数据管线中加入安全过滤步骤。参考 Anthropic 的经验——微调一个小型分类器（远小于 Haiku），在你关注的安全领域（CBRN、极端仇恨言论等）上做靶向过滤
3. 本季度规划：建立数据溯源基础设施。在管线中追踪每个文档的域名来源、数据类型、处理历史。这既是 EU AI Act 合规的需要，也是长期数据治理的基础
4. 长期愿景：向 Safety Pretraining 的四步框架演进——过滤 + 改写 + 原生拒绝数据 + 标签标注。这是预训练数据安全的完整工程方案

---

下期预告：预训练数据评估——当你花了数月构建万亿 token 的训练语料，怎么在训练之前就知道它够不够好？从 DataComp 的 benchmark 化思路到 Meta-rater 的自动评估，数据集的质量评估正在从”事后看模型分数”走向”事前预测训练价值”