数据工程观察 · 2026年07月30日

引言

本期聚焦四个方向：合规倒计时、策展范式升级、文档预训练基础设施和数据供应链重塑。距 EU AI Act GPAI 训练数据透明度执法仅剩 3 天，全球所有通用模型提供商将面临训练数据摘要强制公开义务——这是训练数据治理史上第一次全球性强制合规。与此同时，CuraWeb 提出质量-冗余-多样性三维联合优化新范式，MonkeyDoc v2 以 1.13 亿张图像构建史上最大文档预训练语料，而 EU AI Act、Anthropic 15 亿美元版权和解与 Cloudflare 爬虫分流三重信号正在重塑预训练数据的获取成本与合规路径。

---

EU AI Act GPAI 训练数据透明度执法 3 天倒计时

事件概述

2026 年 8 月 2 日，EU AI Act 第 V 章（GPAI 模型义务）的执法权将正式生效。所有在欧盟市场投放新 GPAI 模型的提供商，必须在发布之日起持有技术文档、向下游部署者提供使用说明、遵守欧盟版权法，并公开发布训练数据内容摘要（Article 53）。欧委会可对违规者处以最高 1500 万欧元或全球年营收 3% 的罚款。同日，Article 50 透明度规则亦将生效，要求 AI 生成内容须以机器可读元数据标记。2025 年 8 月 2 日之前已上市的 GPAI 模型可延至 2027 年 8 月 2 日合规，但新模型无宽限期。

技术细节

• 训练数据摘要要求（Article 53(1)(d)）：需覆盖数据来源（数据集、仓库、网络爬取、专有集合）、语言与地理覆盖、内容类型（文本/代码/图像/音频/视频）、采集日期范围、按来源的定量拆分。摘要的详细程度须使版权方”可合理判断其作品是否可能被包含”。
• 版权合规政策：必须公开尊重欧盟版权法的政策，包括 TDM 选择退出（opt-out）的处理流程、授权与开放内容的区分方式、训练后发现版权材料的处理方案。
• 开源模型豁免：以自由开源许可证发布的 GPAI 模型仅须遵守版权政策和训练数据摘要义务，技术文档和下游说明可豁免——除非被认定为系统性风险模型（Article 55）。
• 执法机制：欧委会拥有独占执法权，包括文件调取、模型评估、要求采取措施以及罚款。成员国市场监督机构和下游部署者亦可发起投诉。

对大模型数据工作的影响

这是训练数据治理史上首次全球性强制合规。对所有在欧盟市场运营的模型提供商——包括中国厂商——而言，训练数据清单、版权合规流程和摘要文档不再是”可选透明”，而是法律义务。影响有三：（1）数据溯源基础设施从”最佳实践”升级为”合规刚需”，所有训练数据管道须建立完整的血缘记录；（2）TDM 选择退出的工程实现（尊重 robots.txt 和更细粒度的保留声明）成为数据管道的必要组件；（3）开源模型社区虽在技术文档上享有豁免，但训练数据摘要仍须发布——这直接影响以数据配方为核心竞争力的开源策略。3 天后，“训练数据不可说”的时代正式终结。

---

CuraWeb：从线性裁剪到三维联合优化的 2T token 预训练语料

事件概述

arXiv:2607.22662（2026 年 6 月 29 日提交）提出 CuraWeb，一个 2T token 英文预训练语料库，其核心创新在于将预训练数据策展从”单一目标线性裁剪”升级为”质量-冗余-多样性三维联合优化”。在 3B 规模评估中，CuraWeb 在广泛基准测试上平均性能提升 1.8%，尤其在知识密集型和推理任务上优势显著。

技术细节

• 范式革新：现有主流语料（FineWeb-Edu、DCLM）依赖单一优化目标——通常是教育价值分类器过滤——这不可避免地压缩了分布多样性，边缘化了长尾知识。CuraWeb 提出”从线性裁剪到联合优化”的范式转换。
• 双轨清洗：规则驱动（启发式过滤）+ 模型驱动（分类器过滤）协同，前者捕获确定性噪声，后者处理语义级质量判别。
• 混合去重：n-gram 精确去重 + 语义嵌入去重联合，有效去除字面重复和语义近似重复。
• 多目标采样器：这是核心创新。不再以单一质量分数排序，而是通过多目标优化平衡信息质量与分布广度。具体而言，多路径投票机制（multi-path voting）为每个文档累积惩罚分数，只有多条独立证据路径同时确认重复时才标记为冗余，有效防止误杀。
• 长尾知识恢复：对比实验表明，CuraWeb 在知识密集型任务上的优势来自更完整的分布覆盖——过度过滤丢失的长尾领域知识被多目标采样器显式保留。

对大模型数据工作的影响

CuraWeb 的三维联合优化范式直接挑战了”质量即一切”的策展直觉。此前 FineWeb-Edu 的成功让行业形成了一个隐含共识：用分类器过滤出”最有教育价值”的文档就足够了。但 CuraWeb 的实验证明，当质量过滤过于激进时，长尾知识的损失会抵消质量提升的收益。这对所有预训练团队有直接启示：（1）质量过滤不是越强越好，需要在质量与多样性之间寻找最优点；（2）去重不应仅考虑字面重复，语义近似重复的累积效应同样显著；（3）多目标采样器的设计思想——显式建模多目标之间的权衡——可以推广到数据混合、课程学习等更广泛场景。2T token 语料已公开，为社区提供了新的策展基线。

---

MonkeyDoc v2：1.13 亿张文档图像、17 种语言的史上最大文档预训练数据集

事件概述

7 月 21 日，华中科技大学团队发布 MonkeyDoc v2 数据集与 MonkeyOCRv2 文档原生视觉编码器。MonkeyDoc v2 包含 1.13 亿张文档图像，覆盖 17 种语言，是目前最大的文档图像预训练图文对数据集。已开放 5200 万张合成样本和 3500 万张真实样本（源自 FinePDF），其余数据逐步发布。配套的 MonkeyOCRv2 编码器以仅 113M 参数的 ViT-B，在 7 项文档分析任务上持续超越基于 CLIP/DINO/SAM 的同类模型；0.7B 参数的文档解析模型在 MDPBench 上创下开源 SOTA，以约 1/11 的视觉编码器参数量超越此前最佳 3B 模型 2.8%。

技术细节

• 数据构成：800 万张页面级完整文档图像 + 1.05 亿张裁剪细粒度元素（文字块、表格、公式、图注）。真实采集（6100 万张，54%）与合成生成（5200 万张，46%）各占约一半。
• 17 种语言覆盖：简体中文、繁体中文、英语、阿拉伯语、德语、西班牙语、法语、印地语、印尼语、意大利语、日语、韩语、荷兰语、葡萄牙语、俄语、泰语、越南语。涵盖学术论文、财务报告、政府文件、表格、公式等 15 种以上文档形态。
• 多专家投票标注：对每个裁剪文档元素，多个不同架构、不同训练数据的专业识别模型独立识别，计算成对相似度，保留平均一致性最高的预测。有效压制单一模型的特定错误模式。
• 合成数据引擎：从 17 种语言的 LLM 训练语料中采样文本，使用不同字体/样式/分辨率渲染为文档图像。提取完整字符集覆盖罕见字符和低频符号；从 arXiv 爬取论文公式渲染出约 80 万公式样本。
• 双重过滤机制：对报纸、手写笔记等挑战性来源，第一道检查版面标注完整性（白块遮挡+残存识别测试），第二道检查阅读顺序逻辑性（LLM 判断语义连贯性）。
• 预训练策略：联合学习图像到文本生成（对齐视觉表征与文本内容）+ 像素级文档重建（保留字符笔画和布局细节）。

对大模型数据工作的影响

MonkeyDoc v2 证明了一个关键论点：通用视觉编码器（CLIP/DINO/SAM）在文档场景下存在结构性缺陷——它们在自然图像上预训练获得的”视角不变性”恰恰与文档所需的”字符级精确感知”相矛盾。这一发现对多模态预训练数据工程有深远影响：（1）VLM 的视觉编码器选择不应默认使用自然图像预训练模型，文档密集型场景需考虑文档原生编码器；（2）合成数据在文档预训练中的有效性（46% 合成数据贡献了可比性能）为其他低资源模态提供了参考范式；（3）多专家投票标注机制是一种可推广的数据质量控制策略，特别适用于标注成本高但模型冗余可利用的场景。数据集在 ModelScope 上以 Apache-2.0 等许可逐步开源。

---

训练数据合规重塑预训练数据供应链

事件概述

2026 年 7 月最后一周，三条独立但相互强化的信号正在重塑预训练数据的获取、合规与成本格局：EU AI Act GPAI 执法 3 天后生效（训练数据摘要强制公开）、Anthropic 15 亿美元版权和解（48.2 万本书每本约 3000 美元）、Cloudflare 爬虫分流（Search/Agent/Training 三类分流，9 月 15 日起封禁 training 类爬虫将同时影响 Googlebot）。三重信号叠加，预训练数据从”自由获取”进入”合规定价”时代。

技术细节

• Anthropic 版权和解锚点：48.2 万本书、每本约 3000 美元——这是首次为训练数据中的版权内容确立了大宗定价锚点。此前，训练数据的版权价值缺乏可参考的交易价格。此和解确立的”每本书 3000 美元”定价可能成为行业谈判的起点。
• Cloudflare 爬虫分流：将 AI 爬虫分为 Search（搜索引擎索引）、Agent（实时用户代理）、Training（模型训练）三类。关键设计：9 月 15 日起，网站封禁 Training 类爬虫不会影响 Search 类（即 Googlebot），消除了网站管理员的”封训练爬虫=丢搜索流量”顾虑。这将显著降低网站封禁训练爬虫的心理门槛。
• EU AI Act 与版权合规的交叉效应：Article 53 要求 GPAI 提供商公开版权合规政策，包括 TDM 选择退出的处理方式。Cloudflare 的分流机制实际上为 TDM 选择退出提供了技术实现路径——网站通过 robots.txt 封禁 Training 类即构成有效的 opt-out 表达。

对大模型数据工作的影响

三条信号正在形成一个系统性闭环：（1）获取成本上升——Cloudflare 分流降低网站封禁训练爬虫门槛，未来公开可爬取的高质量网页语料将持续缩减；（2）版权定价锚定——Anthropic 和解确立的”每本书 3000 美元”为训练数据中的版权内容建立了定价基准，未来所有涉及版权内容的训练数据采购都将以这一锚点为参考；（3）合规义务刚性化——EU AI Act 将训练数据溯源从自律升级为法律义务，合规成本从”可选投入”变为”必须支出”。三者叠加的影响是：预训练数据的总成本（获取+授权+合规+溯源）正在从边际成本走向固定成本——未来的预训练数据竞争力不再取决于谁爬得多，而取决于谁在合规框架内构建了最高效的数据获取与授权体系。这对中国厂商尤其关键：在欧盟市场运营的模型必须满足 Article 53 透明度义务，而中国《数据安全法》的跨境数据流动限制又增加了数据溯源的复杂度。训练数据供应链正在从”地下管道”升级为”地上基础设施”。