研究提案：合成数据血缘追踪与 Token 级精确去污染框架

触发动机

两条研究线索在本周交汇，指向同一个尚未解决的系统性问题。

线索一：血缘图谱揭示污染传播。 2026-04-12，上海 AI 实验室等团队发布 Tracing the Roots（arXiv:2604.10480），首次将数据血缘概念引入 LLM 后训练数据生态。他们用多智能体框架自动重建数据集的演化图谱，发现了两个系统性问题：（1）大量数据集之间存在隐式交集——你以为在混合三个「不同」的数据集，实际上 40% 的内容是重叠的；（2）基准污染沿血缘路径传播——一个上游数据集如果包含了基准测试样本，这种污染会通过下游的派生关系扩散到整个数据集家族。

线索二：Token 级操作的成熟。 同一周，Radford 的 token-level filtering（arXiv:2601.21571）展示了用 SAE 蒸馏分类器实现 token 粒度的精确能力控制——7000 倍计算减速效果，且附带伤害远低于文档级过滤。Rho-1（arXiv:2404.07965）则证明了 3% 的 token 可以匹敌全量训练。Token 级操作的工具链正在成熟。

交汇点：合成数据的爆炸增长正在让污染传播问题急剧恶化。当一个合成数据管线的上游信号包含基准样本的改写、翻译或推理链时，文档级去重和 n-gram 匹配根本检测不到——污染已经被「语义稀释」进了新的文本中。我们需要一种同时具备血缘追踪能力和token 级精度的去污染框架。

战略判断：为什么现在做

行业趋势

合成数据在训练管线中的占比正在快速上升：

时间节点	合成数据占比（推测）	代表性实践
2023	< 5%	Alpaca / Self-Instruct
2024	10-20%	Phi-3 / Cosmopedia
2025	20-40%	Nemotron-CC / DCLM
2026	40-60%（推测）	Darwin-CC / 各厂内部管线

DataEvolve（arXiv:2603.14420）的成功进一步加速了这个趋势——当 AI 可以自主进化数据策展策略时，合成数据的产出速度将远超人类审计能力。

与此同时，斯坦福 HAI 第九期报告（2026-04-13）明确指出：基准测试的设计速度跟不上模型能力增长。当基准被「破防」的速度越来越快，基准样本被混入训练数据的风险也越来越高——因为旧基准在被替换之前，已经以各种形式（论文讨论、在线题库、教学材料）扩散到了公开互联网。

现有方案的缺口

当前的去污染方法存在三个层次的局限：

1. 文档级 n-gram 匹配（如 GPT-4 技术报告中描述的方法）：只能检测近似精确复制，对改写、翻译、推理链中嵌入的基准信号无效
2. 嵌入相似度过滤（如 DSIR 风格的方法）：能检测语义相似的文档，但粒度仍然是文档级——一篇包含 1% 基准相关内容的长文档，要么全保留（漏检），要么全丢弃（浪费）
3. 成员推断攻击（如 Min-K%、RECALL）：事后检测手段，无法在数据管线中前置使用；且对合成数据的检测准确率显著低于对原始数据的检测

缺的是什么？ 一种在数据管线中前置运行的、token 级精度的、能追溯污染来源的去污染框架。

重要性评估

• 技术影响：直接影响模型评估的可信度。如果我们不能确保训练数据与评测基准之间的隔离，所有基准分数都是可疑的
• 产业影响：随着 AI 安全法规的推进（EU AI Act、中国 AI 治理），训练数据的可追溯性将成为合规要求
• 学术影响：Tracing the Roots 证明了血缘追踪的可行性，但没有给出「追踪之后怎么办」的行动方案——本提案填补这个空白

核心洞察

污染不是二元的「有/无」，而是一个沿血缘图谱衰减的连续信号。

传统去污的思维模型是：一条训练样本要么是基准的复制品（污染），要么不是（干净）。但在合成数据时代，真实的情况是：

基准样本 B (MMLU 某道题)
    │
    ├→ 论文讨论 B 的解题思路 (污染强度 0.7)
    │     ├→ 中文翻译版 (0.5)
    │     └→ 被 GPT 改写的教学材料 (0.4)
    │           └→ 被 DataEvolve 清洗后的残留 (0.15)
    │
    ├→ B 的变体题 (0.6)
    │     └→ 合成的推理链包含 B 的关键推导 (0.3)
    │
    └→ 代码实现 B 的计算逻辑 (0.4)
          └→ 被 Self-Instruct 生成的代码练习 (0.2)

每一次派生都在稀释信号，但不会消除它。当这些 0.15-0.3 强度的残留信号在训练数据中大量累积，模型对基准样本的「隐性记忆」就形成了——这比显式的数据泄露更难检测，也更难修复。

本提案的核心 idea：构建合成数据的血缘图谱，量化每条血缘路径上的污染衰减系数，然后用 token 级过滤精确移除超过阈值的污染 token——而不是丢弃整个文档。

技术方案

整体架构

阶段一：血缘图谱构建
  ┌──────────────┐
  │  基准样本集   │ ── 所有受保护的评测基准
  │  (Benchmark  │    (MMLU, GSM8K, HumanEval, ...)
  │   Registry)  │
  └──────┬───────┘
         │
         ▼
  ┌──────────────────────────────────┐
  │  多粒度指纹提取器                 │
  │  - 文档级：MinHash + SimHash     │
  │  - 段落级：语义嵌入聚类           │
  │  - 概念级：知识图谱三元组提取      │
  │  - Token 级：SAE 特征签名         │
  └──────┬───────────────────────────┘
         │
         ▼
  ┌──────────────────────────────────┐
  │  血缘图谱引擎                     │
  │  - 节点：数据集 / 文档 / 段落     │
  │  - 边：派生关系 + 污染衰减系数     │
  │  - 支持增量更新                   │
  └──────────────────────────────────┘

阶段二：污染量化与 Token 级去污
  ┌──────────────────────────────────┐
  │  污染强度传播算法                  │
  │  - 基于图的信念传播               │
  │  - 输入：血缘图 + 基准指纹        │
  │  - 输出：每个节点的污染置信度      │
  └──────┬───────────────────────────┘
         │
         ▼
  ┌──────────────────────────────────┐
  │  Token 级去污过滤器               │
  │  - 对污染置信度 > θ 的文档：      │
  │    逐 token SAE 特征匹配         │
  │  - 移除与基准信号关联的 token      │
  │  - 保留周围上下文的通用信息        │
  └──────┬───────────────────────────┘
         │
         ▼
  ┌──────────────────────────────────┐
  │  去污后验证                       │
  │  - 成员推断攻击 (Min-K%)          │
  │  - 训练后基准分数 vs 保留集对比   │
  │  - 血缘路径覆盖率审计             │
  └──────────────────────────────────┘

关键步骤

步骤一：多粒度指纹提取

对基准样本集和目标训练语料分别提取四个粒度的指纹：

粒度	方法	目的	计算成本
文档级	MinHash (n=128) + SimHash	检测近似复制和高相似文档	O(n) 线性扫描
段落级	E5-large 嵌入 + HNSW 索引	检测被重组拼接的段落级泄露	O(n log n)
概念级	LLM 提取知识三元组 + 图匹配	检测事实/推理逻辑的复用	O(n) × LLM 推理
Token 级	SAE 特征签名（参考 Radford）	检测语义层面的微观污染	O(n) × SAE 推理

四个粒度形成粗筛→细筛的漏斗：文档级指纹快速过滤掉 99% 的干净数据，段落级和概念级收窄嫌疑范围，Token 级只在高嫌疑区域运行。

步骤二：血缘图谱构建与污染传播

参考 Tracing the Roots 的多智能体框架，但做两个关键扩展：

1. 增量构建：现实中的训练数据管线是持续运行的，血缘图需要支持增量更新——新数据集加入时，只需计算它与已有图的连接，不需要全量重建
2. 污染衰减模型：定义边上的衰减函数 d(e) = f(transformation_type, semantic_distance)，其中 transformation_type 编码了派生操作的类型（翻译: 0.3 衰减、改写: 0.4、推理链生成: 0.5、代码实现: 0.6），semantic_distance 用嵌入余弦距离量化

节点 v 的污染强度计算：

contamination(v) = max over all paths P from benchmark B to v:
  product of (1 - d(e)) for each edge e in P

用最大路径（而非求和）是因为：一条高污染路径就足以构成泄露风险，多条低污染路径的叠加需要更审慎的判断。

步骤三：Token 级精确去污

对污染强度 > θ（建议 θ=0.1，即保守阈值）的文档，运行 token 级过滤器：

1. 训练一组 SAE（参考 Radford 方法），分析模型在基准样本上的内部表征，提取与基准知识关联的特征方向
2. 将 SAE 特征蒸馏为轻量级 token 分类器（fastText 级别），实现高吞吐推理
3. 对高嫌疑文档逐 token 评分，标记与基准信号关联强度 > 0.5 的 token
4. 两种处理策略：
   • 移除：直接删除被标记的 token 及其前后各 2 个 token 的窗口
   • 替换：用同域但非基准来源的 token 填充（保留文档结构完整性）

关键权衡：移除策略更安全但会破坏文本连贯性，替换策略保留连贯性但引入噪声。建议在预训练语料中用移除（模型对局部不连贯有鲁棒性），在指令微调数据中用替换（需要保持对话结构）。

质量控制

三层验证确保去污有效且不过度：

验证层	方法	通过标准
污染清除	Min-K% 成员推断攻击	去污后 AUC < 0.55（接近随机）
信号保留	在保留集基准上测试	去污前后性能差 < 1%
覆盖完整	血缘路径覆盖率审计	> 95% 的已知派生路径被检测到

成本与可行性评估

计算成本估算

以 1T token 训练语料、100 个基准（含约 50K 样本）为目标：

阶段	操作	预估成本
文档级指纹	MinHash + SimHash	~$50 (CPU, 约 8h)
段落级嵌入	E5-large 推理	~$200 (1×A100, 约 24h)
概念级提取	LLM 三元组提取（仅高嫌疑文档）	~$500 (API 调用)
SAE 训练	参考模型上训练 SAE	~$300 (1×A100, 约 48h)
Token 级过滤	蒸馏分类器推理（仅高嫌疑文档）	~$100 (CPU, 约 12h)
血缘图构建	图存储 + 传播计算	~$50 (CPU + Neo4j)
总计		~$1,200

关键成本控制策略：漏斗结构确保昂贵的 LLM 调用和 token 级操作只在小比例（推测 < 5%）的高嫌疑数据上运行。

技术可行性

各模块的技术成熟度：

模块	依赖技术	成熟度	风险
文档级指纹	MinHash/SimHash	高（工业验证）	低
段落级嵌入	E5/BGE 嵌入模型	高	低
概念级提取	LLM 知识三元组	中（准确率约 85%）	中
SAE 特征分析	Sparse Autoencoders	中（Radford 验证）	中
血缘图引擎	图数据库 + 传播算法	高（图算法成熟）	低
衰减模型参数标定	需实验验证	低（本提案核心贡献）	高

最高风险项：污染衰减系数的标定。不同类型的变换（翻译、改写、推理链生成）对基准信号的稀释程度需要通过受控实验来量化。建议先用 GSM8K 和 MMLU 作为代理基准，因为它们的泄露案例最多、可用于验证的ground truth 最丰富。

风险与缓解

风险	严重程度	缓解措施
过度去污：误删有效训练信号	高	设置保守阈值 θ=0.1；去污前后 A/B 测试
衰减模型不准确：新类型变换的衰减系数未覆盖	中	建立持续校准机制，新增变换类型时重新标定
SAE 特征偏差：SAE 在特定基准上过拟合	中	跨多个基准训练 SAE，验证泛化性
对抗性规避：攻击者故意设计难以追踪的血缘路径	低（当前）	多粒度指纹的冗余覆盖；概念级提取对表面改写鲁棒
计算成本随语料增长的扩展性	中	漏斗结构 + 增量更新；文档级先筛掉 95%+ 干净数据

预期产出

直接产出

1. Lineage-Decon 框架：开源的合成数据血缘追踪与去污染工具包，支持 datatrove 和 NeMo Curator 集成
2. 污染衰减参数表：覆盖 8 种常见变换类型的衰减系数及其置信区间
3. 去污后数据集：基于 Darwin-CC 或 SlimPajama 的去污版本，作为验证基线

衍生价值

1. 基准健康报告：利用血缘图谱定期生成主流基准的泄露风险评估
2. 数据合规工具：血缘图谱天然支持数据可追溯性审计，满足 EU AI Act 等法规要求
3. 与 DataEvolve 的协同：将去污约束嵌入 DataEvolve 的进化循环，让自主进化的策展策略在设计上就规避基准污染

时间线

阶段	周期	产出
Phase 1：指纹提取 + 血缘图原型	4 周	文档/段落级指纹 + Neo4j 图存储
Phase 2：衰减模型标定	3 周	8 种变换类型的衰减系数
Phase 3：Token 级过滤器	4 周	SAE 训练 + 蒸馏分类器
Phase 4：端到端集成 + 验证	3 周	框架开源 + 去污数据集 + 论文

总周期约 14 周，单人全职或双人半时。

---

本提案的核心赌注是：在合成数据占训练语料 40-60% 的时代，去污染不再是「跑一次 n-gram 去重就完了」的简单步骤，而是需要血缘级追踪和 token 级精度的系统工程。如果这个判断成立，Lineage-Decon 将成为后合成时代训练数据治理的基础设施。