数据工程观察 · Vol.92

数据工程观察 · 2026年07月28日

训练数据溯源强制审计时代开启、爬虫政策重构预训练数据供应链、书籍粉碎暴露数据获取伦理深渊、15 亿美元版权和解创纪录、去中心化预训练从理念走向工程验证

数据工程 数据溯源 训练数据合规 预训练数据 数据治理 爬虫政策 版权和解 去中心化训练 数据供给链 EU AI Act

引言

7 月最后一周，数据工程领域的焦点从方法论创新骤然转向制度与基础设施的深层博弈。欧洲议会通过《AI 数据完整性法案》（ADIA），首次以法律形式强制训练数据溯源审计；Cloudflare 重新划分爬虫类别并默认封禁训练数据爬虫，将从根基上重塑 Web 预训练数据的供给链；AI 公司粉碎物理书籍获取训练数据的报道，将数据采集的伦理困境推至公众视野；Anthropic 15 亿美元盗版书籍版权和解，为训练数据合规成本设定了新的量级基准；而 Agora 去中心化预训练的工程验证，则暗示着另一种绕过中心化数据供给约束的可能路径。本周的信号明确：训练数据工程的竞争维度，正从”谁的语料更大”转向”谁的数据供给链更合规、更可持续”。

EU 《AI 数据完整性法案》正式通过：训练数据溯源从自律走向强制

事件概述

7 月 27 日，欧洲议会正式通过《AI 数据完整性法案》（AI Data Integrity Act，ADIA）。该法案即时生效，要求所有在欧盟境内使用的 AI 训练数据集必须通过严格的”溯源审计”（provenance audits）——企业必须可追踪、可记录、可验证每一条训练数据的来源与质量。法案明确以防范数据投毒（data poisoning）为核心立法目标之一。

技术细节

  • ADIA 要求的数据溯源覆盖训练、验证、测试三个数据集，需记录每次数据变换的完整血统（lineage）：从原始数据采集到训练就绪格式的每一步转换。
  • 法案与已生效的 EU AI Act Article 10 形成互补：Article 10 要求高风险 AI 系统的数据治理实践，ADIA 则将溯源审计扩展至所有在欧盟使用的训练数据集，无论最终模型是否属于高风险类别。
  • 合规路径上，密码学数据完整性证明（cryptographic data provenance）被视为满足审计要求的技术手段——过程文档与访问控制不足以证明数据未被篡改。
  • 违规处罚最高达 1500 万欧元或全球年营收的 3%（以较高者为准）。

对大模型数据工作的影响

ADIA 的通过标志着训练数据工程进入”合规驱动”新阶段。对数据工程团队而言，这意味着：

  1. 数据管线必须原生支持溯源：从 Common Crawl 提取、质量过滤、去重到合成数据生成的每一阶段，都需要记录完整的输入-输出映射与操作日志。CuratorKIT 等工具的 provenance-exact 设计思路将成为标配。
  2. 合成数据的”生成凭证”成为刚需：ADIA 对合成数据的溯源要求不亚于真实数据——需要记录生成模型、种子数据、生成参数与验证结果。NVIDIA NeMo Data Designer 的版本化合成管线设计正是这一方向的先声。
  3. 合规成本将对小型团队构成实质壁垒：行业组织已表达对合规负担的担忧，尤其对初创公司而言，建立密码学溯源基础设施的成本可能超过模型训练本身。

Cloudflare 重分类 AI 爬虫：训练数据供给链的”管道阀门”被拧紧

事件概述

7 月 26 日，Cloudflare 推出新的爬虫分类体系，将网络爬虫分为 Search（搜索索引）、Agent（智能体操作）、Training（模型训练）三类，并默认对广告支持页面封禁后两类爬虫。更具深远影响的变更是：自 9 月 15 日起，现有的”block training”规则也将同时封禁 Googlebot——因为 Google 使用同一爬虫进行搜索索引和 Gemini 训练数据采集。

技术细节

  • 新分类体系要求网站运营者做出明确选择：是否允许自己的内容被用于 AI 训练。此前的模糊状态（同一爬虫同时服务搜索与训练）将不复存在。
  • Googlebot 被纳入 Training 分类的决定，实际上迫使数百万网站在”允许 Google 索引”和”阻止 AI 训练数据采集”之间做出零和选择。
  • Cloudflare 的立场反映了更广泛的行业趋势：数据所有者正在收回对训练数据用途的控制权。这与 LAION 7 月 21 日发布的工具增强对话 SFT 数据集所体现的结构化、许可化方向一致。

对大模型数据工作的影响

  1. Web 预训练数据获取成本将结构性上升：如果大量网站选择封禁训练爬虫，Common Crawl 等公共语料库的覆盖范围将逐步萎缩。NeMo Curator 等 GPU 加速策展工具的效率优势将被数据源缩减抵消。
  2. 数据合规从”事后审计”转向”事前许可”：ADIA 要求溯源审计 + Cloudflare 封禁训练爬虫的双重约束，意味着未来预训练数据的获取将更依赖许可数据源（如 Common Pile 的开放许可语料模式）和合成数据管线。
  3. Google 的搜索-训练捆绑模式面临拆分压力：如果 Google 不得不为训练目的使用独立的爬虫标识，将显著增加其预训练数据采集的复杂度与成本。这一变化可能推动行业向”搜索索引数据”与”AI 训练数据”的分离治理演进。

AI 公司粉碎书籍获取训练数据：数据采集的伦理深渊

事件概述

7 月 27 日，多家媒体报道 AI 公司大量购买实体书籍，高速扫描后将物理原件销毁（shredding），将文本注入训练管线。更令人担忧的是，稀有版本和难以替代的书籍副本也可能被卷入这一流程。近期 fair use 裁决可能使这种”获取-销毁”模式更加普遍。

技术细节

  • 这种数据获取模式的”效率逻辑”是：扫描后销毁物理原件可降低存储成本、避免法律纠纷中物理证据的留存，同时规避二次销售对版权市场的冲击。
  • 然而，从数据工程角度看，这种做法暴露了当前预训练数据管线中”数据来源”环节的系统性风险：当物理原件被销毁，训练数据的溯源链就在源头断裂。
  • 稀有书籍的损失不仅是文化保存问题——对学术 AI 而言，这些内容可能包含不可替代的专业知识，其数字化版本的唯一性也无法保证。

对大模型数据工作的影响

  1. 数据溯源的”第一公里”问题被暴露：ADIA 要求的溯源审计需要从数据采集源头开始记录。当物理原件被销毁、扫描质量无法回溯验证时，训练数据的”可审计性”在起点就受到了挑战。
  2. 合成数据作为替代方案的紧迫性上升：如果实体书籍获取面临法律与伦理双重约束，HRM-Text 等结构化合成预训练数据范式（1B/40B token 媲美 7B）的价值将进一步提升。
  3. 数据采购策略需重新评估：企业需要从”获取-消费”模式转向”许可-复用”模式，与出版商建立授权合作关系而非一次性消费物理资产。Numo 等链上合规数据采集平台的思路值得关注。

Anthropic 15 亿美元版权和解：训练数据合规成本的量级标杆

事件概述

联邦法官正式批准 Anthropic 15 亿美元版权和解协议，要求该公司为使用盗版书籍训练 Claude 向数千名作者支付每本书约 3,000 美元的赔偿。和解覆盖超过 482,000 本书，其中约 91% 已有作者或出版商认领。原告律师称此为”有史以来已知最大的版权赔偿”。

技术细节

  • 此案的核心事实是：Anthropic 使用了未经授权的书籍数字副本训练 Claude 模型。和解金额按每本约 3,000 美元计算，482,000+ 本书合计约 15 亿美元。
  • 此案与 Microsoft MAI 训练数据争议形成对照——Microsoft 声称”仅用授权数据训练”，但技术论文显示其语料包含 Common Crawl 的 242 亿网页，后者不做许可声明。
  • 案件的法律逻辑与 EU AI Act 的溯源要求方向一致：训练数据的来源必须可验证，“声称合规”不等于”可证明合规”。

对大模型数据工作的影响

  1. 训练数据合规成本已被量化：每本书 3,000 美元的赔偿标准为行业提供了可计算的合规成本参考。对于使用数百万本书训练的模型，合规成本可能达到数十亿美元量级。
  2. Common Crawl 作为预训练数据源的法律风险被凸显：如果 Common Crawl 的 242 亿网页中包含未经授权的版权内容，使用该语料库的模型开发者将面临类似的法律风险。
  3. 合规数据源的商业价值将显著上升：Common Pile（8TB 开放许可文本）、MixtureVitae（422B token 许可优先语料）等合规语料库的价值被进一步验证。数据工程团队需要将”许可合规性”作为与”质量”和”规模”同等重要的数据选择维度。

Agora 去中心化预训练：从理念到工程验证

事件概述

arXiv:2607.13332 报告了 Agora 系统的首个工程验证：Pluralis-8B，一个 86 亿参数的开放模型，在 330 个消费级 GPU 节点（通过互联网连接、持续加入和离开）上完成 5000 亿 token 的预训练。训练持续 40 天，维持约 170k tokens/s 的吞吐，达到集中式 H100 基线 63% 的效率。

技术细节

  • Agora 采用带宽高效的流水线并行模型分片，每个参与者仅持有一个模型阶段，无单一方拥有完整权重——这一设计被称为”协议学习”（Protocol Learning）。
  • 异步优化与容错集体操作使系统能应对消费级 GPU 的异构性、可抢占性和互联网级延迟。
  • 从数据工程角度看，Agora 暗示了一种去中心化的训练数据供给模式：不同参与者可以贡献不同的数据分片，无需集中式语料库管理。

对大模型数据工作的影响

  1. 去中心化数据供给的可行性被初步验证：如果训练可以分布式完成，数据策展是否也可以？这为社区驱动的开放语料库构建提供了新的工程想象。
  2. 数据质量控制的去中心化挑战：63% 的效率意味着 37% 的损失，部分来自通信开销，部分可能来自数据异质性。去中心化场景下的数据质量一致性保证仍是开放问题。
  3. 与 ADIA 的张力：去中心化训练的数据溯源天然更困难——当数据由匿名参与者提供时，如何满足 ADIA 的溯源审计要求？这可能成为 Agora 模式在欧洲落地的关键障碍。

本周小结

本周五条动态勾勒出数据工程领域的一条清晰主线：训练数据供给链正在从”野蛮生长”走向”合规治理”。ADIA 的溯源审计、Cloudflare 的爬虫分类、15 亿美元和解——三重信号指向同一个结论：数据工程的下一个竞争维度不是规模，而是合规性与可持续性。Agora 的去中心化实验则提出了一个更具根本性的问题：如果数据供给链可以被去中心化，那么合规治理是否也可以？答案可能决定下一轮数据工程范式的走向。