数据治理的工程化：当「知道数据从哪来」成为一项系统工程
系统解读训练数据治理的工程化演进——从 Croissant 1.1 的机器可操作溯源、DATE-LM 开启的归因基准竞赛、EU AI Act GPAI 模板的合规倒逼，到 Smart Data Portfolios 将投资组合理论引入数据配比治理，以及 LoRIF 实现的 20× 归因加速
本期主题：当「知道数据从哪来」成为一项系统工程
前 13 期，我们系统梳理了预训练数据工程的技术主线——从质量评估、去重、选择、配比，到合成数据、持续预训练、数据标注。但有一条横贯所有环节的”暗线”始终没有正面展开：数据治理。
这不是一个可以推迟到”模型上线后再补”的问题。2025 年 8 月 2 日，EU AI Act 对通用目的 AI（GPAI）的训练数据透明度要求正式生效；2026 年 2 月，MLCommons 发布 Croissant 1.1，将 80 万数据集的元数据升级为机器可操作的溯源格式；同期，CMU 的 DATE-LM benchmark 给出了第一把统一标尺来衡量”训练数据归因到底做得好不好”。
一个信号越来越明确：训练数据的”可追溯、可解释、可审计”正在从学术倡议变成工程标准。
本期从四个维度展开这条治理工程化的主线：
数据治理工程化的四个层次：
Layer 1 文档化标准
Data Card → Croissant 1.1 → Agent Cards
从"写个 README"到"机器可读的溯源链"
Layer 2 归因技术
Influence Functions → TRAK → LoGra → LoRIF
从"理论上可以追溯"到"万亿 token 上实际可算"
Layer 3 监管合规
EU AI Act GPAI Template → Smart Data Portfolios
从"自觉公示"到"量化风险-回报的有效前沿"
Layer 4 版本控制与血缘
DVC / lakeFS / DCLM
从"文件放 S3"到"Git-for-Data 的全生命周期管理"一、文档化标准的代际跃迁：从”给人看”到”给机器执行”
1.1 三张卡片的演进
AI 领域的文档化努力可以追溯到 2018 年 Google 提出的 Model Cards 和微软提出的 Datasheets for Datasets。这两个开创性工作建立了”为 AI 组件写说明书”的文化范式，但它们本质上是给人读的文档——PDF、Markdown、网页，依赖研究者的自觉填写，无法被自动化流水线消费。
七年后的今天，文档化标准正在经历一次代际跃迁：
| 阶段 | 代表 | 年份 | 核心特征 | 消费者 |
|---|---|---|---|---|
| 第一代 | Model Cards / Datasheets | 2018-2019 | 人类可读文档，自由文本 | 研究者/审计员 |
| 第二代 | Data Cards (Google, FAccT 2022) | 2022 | 结构化模板，行列索引 | 团队协作 |
| 第三代 | Croissant 1.0 (MLCommons, NeurIPS 2024) | 2024 | JSON-LD 机器可读元数据 | ML 框架/平台 |
| 第四代 | Croissant 1.1 (MLCommons, 2026.02) | 2026 | 机器可操作溯源 + 治理自动执行 | AI Agent |
| 延伸 | Agent Cards (Springer, 2026.02) | 2026 | Agent 层文档标准 | 多 Agent 系统 |
关键转折发生在第三代到第四代之间：元数据从”描述数据集长什么样”升级为”告诉机器这个数据能不能用、怎么用、从哪来”。
1.2 Croissant 1.1：80 万数据集的治理基础设施
Croissant 1.1（MLCommons，2026 年 2 月）是目前最重要的数据集元数据标准升级。据 ODI 的分析，仅 Hugging Face 一个平台上就有超过 80 万数据集携带 Croissant 元数据，加上 Kaggle 和 OpenML 的采用，它正在成为 AI 数据生态的”地基”。
1.1 版本的四个核心新增能力：
（1）W3C PROV-O 溯源模型
Croissant 1.1 采用 W3C PROV-O 本体来记录数据的”实体→活动→代理”链条。这意味着数据集的每一个版本、每一次转换、每一个处理步骤都有机器可读的审计轨迹。
{
"@type": "cr:Dataset",
"cr:provenance": {
"@type": "prov:Entity",
"prov:wasGeneratedBy": {
"@type": "prov:Activity",
"prov:used": "https://commoncrawl.org/2025-09",
"prov:wasAssociatedWith": {
"@type": "prov:SoftwareAgent",
"schema:name": "datatrove v0.4"
},
"prov:startedAtTime": "2025-10-01T00:00:00Z"
}
}
}（2）Data Use Ontology (DUO) + W3C ODRL 策略
使用权限不再是一段文字说明，而是机器可执行的策略声明。一个 Agent 在拉取数据集时可以自动验证：“这个数据集允许商业用途吗？允许用于模型训练吗？需要注明出处吗？”
（3）跨本体词汇互操作
允许将 Croissant 元数据链接到领域特定的本体（如生物医学的 MeSH、法律的 EuroVoc），实现跨存储库的语义发现。
（4）增强的多维数据建模
支持语义类型注释和验证规则，可以在元数据层面声明”这个字段是 BPE token ID，取值范围 0-65535”这样的约束。
对实践的启示：如果你在构建训练数据管线，现在就应该在数据处理的每一步生成 Croissant 1.1 兼容的元数据。这不仅是合规需要——当 80 万数据集都有标准化元数据时，不提供溯源信息的数据集会被自动化筛选流程直接排除。
1.3 Agent Cards：文档标准延伸到 Agent 层
值得注意的是，Urteaga et al.（Springer, 2026.02）提出了 Agent Cards，将文档化标准从数据/模型延伸到 LLM Agent 层。Agent Cards 记录 Agent 的行为属性、记忆设计、工具集成、通信协议和治理约束。
这构成了一条完整的文档化链条：Data Card → Model Card → Agent Card，每一层都有对应的结构化文档标准。对于训练数据工程师来说，这意味着你的数据不仅要能追溯到自身的来源，还要能关联到”这份数据最终被哪个模型消费、被哪个 Agent 使用”。
二、训练数据归因：从”理论上可以”到”工程上可行”
如果说文档化解决的是”数据从哪来”的前向追溯，那么数据归因（Data Attribution）解决的是后向追溯——给定模型的某个输出，它受到了哪些训练数据的影响？
这个问题在版权纠纷（“模型生成的内容是否抄袭了我的作品？”）、安全审计（“模型的有毒输出来自哪些训练数据？“）和数据定价（“我的数据对模型贡献了多少价值？“）三个场景下具有直接的工程价值。
2.1 DATE-LM：第一个统一的归因评测基准
DATE-LM（CMU，NeurIPS 2025）是第一个为 LLM 数据归因设计的统一 benchmark。在此之前，不同归因方法的评测各用各的数据集、各定义各的指标，无法横向比较。
DATE-LM 定义了三个应用驱动的评测任务：
| 任务 | 场景 | 核心问题 |
|---|---|---|
| 训练数据选择 | 数据策展 | 归因分数能否指导选出更好的训练子集？ |
| 毒性/偏见过滤 | 安全治理 | 归因分数能否定位导致有毒输出的训练样本？ |
| 事实归因 | 知识溯源 | 模型对某个事实的回答能否追溯到具体的训练文档？ |
DATE-LM 的关键发现：没有一种归因方法在所有任务上都最优。 影响函数在毒性过滤上表现突出，但在事实归因上不如基于嵌入相似度的方法；而 Data Shapley 在理论上最优雅，但计算成本让它在 LLM 规模上几乎不可用。
这个 benchmark 的意义不仅在于”评出了谁好谁差”，更在于建立了一个公开的排行榜，让归因方法的进展可以被系统性地追踪。
2.2 LoGra → LoRIF：归因技术的可扩展性突破
影响函数（Influence Functions）是目前理论基础最扎实的归因方法，核心思想是计算”如果把某条训练数据移除，模型输出会怎么变”。但经典影响函数需要计算并求逆 Hessian 矩阵——对于百亿参数的 LLM，这在计算上是不可行的。
过去两年，可扩展性问题取得了阶梯式突破：
影响函数的可扩展性演进（存储/查询效率）：
经典 IF (Koh & Liang, 2017)
├── 需要完整 Hessian 逆 → O(p²) 存储，p = 参数量
├── LLM 规模完全不可行
│
TRAK (Park et al., ICML 2023)
├── 随机投影 + 集成 → 无需 Hessian
├── 首次在 BERT 规模可行
│
LoGra (Choe et al., NeurIPS 2025) ★
├── 梯度低秩投影 → O(n × c) 存储，c ≪ p
├── 阻尼项 = 谱梯度稀疏化
├── 首次在 LLM (1-7B) + 万亿 token 上可行
├── 配套工具 LogIX
│
LoRIF (Li et al., arXiv 2026.01) ★★
├── 梯度的低秩分解 → 存储和查询再降 20×
├── 存储秩-c 因子，非完整投影梯度
├── 匹配或超越 LoGra 归因质量
│
BIF (Kreer et al., ICML 2025)
├── 贝叶斯影响函数 → 用损失景观统计量替代 Hessian 逆
├── 理论上更优雅的解决方案
└── 可与 LoGra/LoRIF 的工程方案互补LoGra（Choe et al.，NeurIPS 2025）的核心洞察是将影响函数中的阻尼项重新解释为谱梯度稀疏化机制——通过低秩投影将高维梯度压缩到低维空间，投影后的梯度可以一次性写入磁盘，后续查询只需读取，不再需要重新计算。配套的开源工具 LogIX 让工业界可以直接在 LLM 训练管线中插入归因计算。
LoRIF（Li et al.，arXiv 2026.01）在 LoGra 的基础上更进一步：不存储投影后的完整梯度，而是存储梯度的秩-c 因子。论文报告了 20× 的存储压缩和查询加速，同时归因质量匹配甚至超过 LoGra。这意味着对一个 7B 模型做全量训练数据归因，存储需求从 TB 级降到了百 GB 级。
贝叶斯影响函数（BIF）（Kreer et al.，ICML 2025）从另一个角度切入：用随机梯度下降过程中自然积累的损失景观统计量来近似 Hessian 逆。这种方法不需要额外的计算步骤，理论上更”干净”，但目前的工程成熟度还不如 LoGra/LoRIF。
对实践的启示：如果你需要为训练数据建立可追溯性，目前的工程化推荐路径是 LoGra（LogIX 工具）+ DATE-LM 评测。LoRIF 在存储效率上有优势但还是预印本状态，可以跟踪等正式发表。BIF 适合关注理论发展的研究者。
三、监管合规的工程化：从”建议公示”到”量化治理”
3.1 EU AI Act GPAI 模板：合规倒逼的标准化
2025 年 7 月 24 日，欧盟委员会正式发布了 GPAI 训练数据透明模板，要求通用目的 AI 模型的提供商公开一份标准化的训练数据摘要。2025 年 8 月 2 日，这一要求正式生效。
模板的核心要求：
| 维度 | 要求 | 工程含义 |
|---|---|---|
| 数据集清单 | 列出用于训练的主要数据集 | 需要维护数据来源注册表 |
| 来源说明 | 详细说明数据的获取渠道和类型 | 需要记录爬取/购买/合成的完整链路 |
| 起源信息 | 提供数据的原始来源信息 | 需要溯源到 Common Crawl batch 级别 |
| 版权保护 | 协助版权持有人行使权利 | 需要支持版权方的数据移除请求 |
这个模板配合 2025 年 7 月的《GPAI 实践准则》和范围指南，构成了一个三层合规框架。
对于在全球运营的 AI 公司来说，EU AI Act 的效力不局限于欧盟——任何向欧盟用户提供服务的 GPAI 模型都需要合规。这意味着训练数据的文档化和溯源不再是”最佳实践”，而是法律义务。
3.2 Smart Data Portfolios：用投资组合理论治理训练数据
如果说 EU AI Act 模板是”告诉你要做什么”，那么 Smart Data Portfolios（Yalta & Yalta，arXiv 2025.12，v2 2026.02）则是”告诉你怎么做”——它提出了一个将训练数据配比决策数学化的治理框架。
核心思想是将金融领域的现代投资组合理论（MPT）引入数据治理：
金融投资组合 数据投资组合
───────────── ─────────────
资产类别（股票/债券/...） 数据类别（网页/书籍/代码/...）
预期收益 μ 信息回报 μ_p（对模型能力的贡献）
风险 σ 治理风险 σ_g（偏见/隐私/版权风险）
风险约束（VaR 上限） 治理约束（DUO/ODRL 策略）
有效前沿 治理有效前沿
投资说明书 Data Portfolio Card（DPC）框架的运作机制：
-
量化每个数据类别的”信息回报”和”治理风险”：信息回报衡量该类数据对模型能力的边际贡献（可以通过 ablation 或 scaling law 估计）；治理风险衡量该类数据引入偏见、隐私泄露、版权纠纷的可能性。
-
将监管要求转化为数学约束：EU AI Act 要求的”不得歧视特定群体”变成数据配比的下界约束；“版权内容需可移除”变成数据来源的可分离性约束。
-
计算”治理有效前沿”：在满足所有约束的前提下，找到信息回报最大化的数据配比方案。
-
生成 Data Portfolio Card：将最优配比方案的决策依据以结构化形式输出——为什么选择这个配比、牺牲了多少模型能力来满足合规要求、各数据类别的风险贡献是多少。
对实践的启示：这个框架目前还偏理论，但思路值得借鉴。在实际操作中，你可以从一个简化版本开始：为每个数据源打上”能力贡献”和”治理风险”两个维度的标签，用简单的约束优化来确定配比，比纯拍脑袋已经好很多了。更重要的是，DPC 的概念值得立即采用——记录每次数据配比决策的依据，这是未来面对审计时最有价值的文档。
四、版本控制与血缘追溯：训练数据的”Git”
4.1 从文件管理到数据生命周期管理
代码有 Git，模型权重有 HuggingFace Hub，但训练数据的版本管理长期处于”放在 S3 上靠文件名区分版本”的原始状态。2025-2026 年，这个领域正在快速成熟：
| 工具 | 定位 | 核心机制 | 适用规模 | 关键特性 |
|---|---|---|---|---|
| DVC | Git 扩展 | .dvc 元文件 + 远端存储 | 中小型（TB 级） | 与 Git 深度集成，管线 DAG |
| lakeFS | 对象存储层 | Git 语义（branch/commit/merge） | 大型（PB 级） | 零拷贝分支，原子提交 |
| Delta Lake | 表格式层 | ACID 事务 + 时间旅行 | 大型 | Spark 生态原生 |
| datatrove | 处理管线 | 声明式管线定义 | 超大型 | HuggingFace 出品，专为 LLM 数据 |
2026 年的最佳实践正在收敛到两种组合：
- 研究场景：DVC + Git + HuggingFace Hub——轻量、与论文复现流程兼容
- 工业场景：lakeFS + datatrove + Croissant 1.1——重量级但完整的数据生命周期管理
4.2 DCLM 范式：可复现的数据实验
DataComp-LM（DCLM）（NeurIPS 2024）虽然上过我们的 Vol.10，但它对数据治理的贡献值得在这里重新审视。DCLM 不仅是一个数据策展 benchmark，它建立了一套可复现的数据实验范式：
- 标准化语料库：240T+ unfiltered tokens 作为统一起点
- 固定训练代码：只改数据，不改模型/优化器
- 53 个评测任务：统一衡量数据策展效果
- 完整的实验记录：每次策展实验的参数、过滤规则、结果都有标准化的记录格式
这种”控制变量、只改数据”的实验范式，本质上就是训练数据的版本控制在研究方法论层面的体现。
4.3 下一代：Agent-Guided 自动数据准备
Liang et al.（arXiv 2026.03） 在《Towards Next-Generation LLM Training》中提出了一个更激进的愿景：用 AI Agent 来管理训练数据的全生命周期。
论文指出当前数据准备流程的三个核心痛点：
- 数据管线通常用”临时脚本”拼凑，缺乏复用性
- 数据科学家被重复性工程工作消耗
- 数据在训练过程中被一次性静态消费，缺乏动态调整
他们提出的两个研究方向：
- Agent-based 自动数据准备系统：Agent 自动构建、验证、迭代数据处理管线
- 统一的数据-模型交互训练系统：在训练过程中动态选择、混合、重新加权数据
如果说 DCLM 是”手动但可复现”，那么这个愿景就是”自动且可追溯”。两者的共同点是：数据处理的每一步决策都必须被记录和可审计。
五、全景视图：数据治理的技术栈
把本期讨论的所有技术拼在一起，可以看到一个正在形成的”数据治理技术栈”：
┌─────────────────────────────────────────────────┐
│ 应用层：合规与审计 │
│ EU AI Act GPAI Template │ Smart Data Portfolios │
│ Data Portfolio Card │ 版权移除请求响应 │
├─────────────────────────────────────────────────┤
│ 归因层：后向追溯 │
│ DATE-LM（评测）│ LoGra/LoRIF（计算）│ BIF（理论）│
│ LogIX（工具） │ TRAK（轻量替代） │
├─────────────────────────────────────────────────┤
│ 元数据层：前向追溯 │
│ Croissant 1.1（数据集）│ Model Cards（模型） │
│ Agent Cards（Agent） │ W3C PROV-O（溯源本体） │
├─────────────────────────────────────────────────┤
│ 存储层：版本控制与血缘 │
│ lakeFS（PB 级）│ DVC（TB 级）│ Delta Lake（表格式）│
│ datatrove（管线）│ DCLM（实验范式） │
└─────────────────────────────────────────────────┘这个技术栈的成熟度从下往上递减：存储层已经有成熟的开源工具；元数据层有了标准但采用仍在推进；归因层刚进入”工程可行”阶段；应用层大部分还在论文和法规文本里。
本期思考
数据治理在 AI 领域长期处于一个尴尬的位置：所有人都知道重要，但没人愿意优先投入。原因很简单——治理不直接提升 benchmark 分数。
但 2025-2026 年的三个变化正在改变这个局面：
第一，监管倒逼。 EU AI Act 不是建议，是法律。当不合规的代价是产品被禁入 5 亿人口的市场时，“以后再补”的策略就不成立了。
第二，技术可行。 LoRIF 的 20× 加速意味着归因计算从”理论可行、工程不可行”进入了”工程可行、成本可控”的阶段。Croissant 1.1 的 80 万数据集采用意味着元数据标准不再是”少数人的理想主义”。
第三，竞争优势。 当数据集越来越大、来源越来越杂时，能够精确知道”哪些数据在哪些能力上贡献了多少”的团队，在数据策展上会有系统性的决策优势。数据治理不只是防御性的合规行为，也是进攻性的数据策略工具。
我的判断是，未来 12 个月内，“训练数据的全生命周期可追溯”会从差异化优势变成行业基线。现在建设治理基础设施，是在为这个转折点做准备。
下期预告：数据评估的新方法论——从人工检查到自动质量评分，当数据集本身需要一个”评分系统”