数据工程观察 · 2026年07月29日

引言

本期聚焦三条主线交汇的时刻：方法论层面，逐例策展（per-example curation）从理念走向框架——DataOrchestra 让每个数据块获得量身定制的处理流水线，标志着预训练数据工程从”一刀切”进入”精准施策”时代；合规层面，EU AI Act 数字综合法案于 7 月 27 日正式生效，高风险系统数据治理义务延期至 2027 年底，但 GPAI 训练数据透明度义务仍将于 8 月 2 日如期执行，企业合规窗口仅余 4 天；效率层面，Kimi K3 开源揭示训练数据效率倍增路径——Moon Clip 二阶优化器将 40T 数据训练效果压缩至 20T 实现，在优质数据枯竭的当下，数据效率即模型竞争力。

---

DataOrchestra：学习编排逐例策展的预训练数据框架

事件概述

arXiv:2607.24717，7 月 27 日提交，作者黄振、王亦坤、夏世杰、刘鹏飞（上海交大 GSAI / 面壁智能）。DataOrchestra 提出”逐例编排”范式：给定一段预训练数据，编排器（orchestrator）决定丢弃、保留还是清洗；若需清洗，则从程序化编辑到多种 LLM 改写中选择下游操作，并为每一步生成具体指令交由工具模型执行。

技术细节

• 三决策空间：drop / untouch / clean，打破传统”全量保留或全量过滤”的二元选择
• 操作选择 + 指令生成：编排器不仅选择操作类型（如 remove_lines、replace_str、LLM 改写），还为每个操作生成具体执行指令，实现真正意义上的逐例定制
• 0.5B–7B 规模验证：从零预训练实验中，DataOrchestra 在 11 个基准上稳定超越任何单一数据处理方法，且在数学持续预训练中击败更强基线
• 计算节省：通过跳过不必要的下游操作（对高质量数据直接 untouch），减少处理算力消耗
• 与 UltraX 的关系：同属刘鹏飞团队，DataOrchestra 可视为 UltraX（函数调用式精炼）的上层编排框架——UltraX 解决”如何精炼”，DataOrchestra 解决”是否需要精炼、用哪种方式精炼”

对大模型数据工作的影响

预训练数据处理的”一致性假设”（同一语料库的所有样本适用相同策略）首次被系统性地挑战。DataOrchestra 的核心启示是：高质量样本无需清洗（untouch 即可），低质量样本也不必一律丢弃——精准的逐例策展能在数据量和质量之间找到更优帕累托前沿。这对当前”优质数据枯竭”困境尤为重要：与其大规模过滤丢弃数据，不如让每个数据块发挥最大价值。

---

EU AI Act 数字综合法案生效：训练数据治理合规时间表重构

事件概述

2026 年 7 月 27 日，欧盟法规 (EU) 2026/1744（数字综合法案 / AI Omnibus）正式生效。该法案对《人工智能法案》做出关键修订，最核心的变化是：高风险 AI 系统的数据治理义务（Article 10）被分两档延期——附件 III 系统推迟至 2027 年 12 月 2 日，附件 I 嵌入式产品系统推迟至 2028 年 8 月 2 日。但 8 月 2 日仍为多个关键条款的生效日，GPAI 训练数据透明度义务如期执行。

技术细节

• 延期内容：Article 10（数据与数据治理）+ Article 11（技术文档）等第三章第 1-3 节义务，推迟至 2027 年 12 月 2 日（附件 III 系统）/ 2028 年 8 月 2 日（附件 I 系统）
• 不延期内容：
  • GPAI 模型提供者的训练数据摘要义务（Article 53(1)(d)），8 月 2 日起可执法
  • AI 生成内容机器可读标记义务（Article 50），12 月 2 日前须满足
  • 已生效的第 5 条禁止性条款继续适用
• 新增条款：
  • 禁止生成非自愿私密内容的 AI 系统（12 月 2 日生效）
  • AI Office 获得现场检查权、场所加封权及最高日均营业额 5% 的滞纳金处罚权
  • 自主代理式 AI（agentic AI）首次出现在欧盟具有约束力的法案中（附件 XIV AIH 0401 代码）
• 数据治理实质要求不变：延期仅延长适应期，Article 10 的四项数据质量标准（相关性、代表性、无错误、完整性）+ 偏差审查义务未被削弱

对大模型数据工作的影响

对训练数据团队而言，这是”喘息而非放松”的信号。高风险系统的数据治理合规压力从 4 天延长至约 16 个月，但企业不应因此搁置数据溯源基础设施建设——GPAI 透明度义务 8 月 2 日起即可执法，AI Office 已获得反垄断级别的检查权力。更关键的是，自主代理式 AI 首次进入欧盟法规视野，预示未来 Agent 训练数据也将纳入监管范围。当前的建议是：利用延期窗口建立数据溯源基础设施，而非等待下一个截止日期。

---

Kimi K3 开源：训练数据效率革命——40T→20T 的二阶优化器突破

事件概述

7 月 27 日晚，月之暗面正式开源 Kimi K3 完整模型权重、技术报告及三项关键基础设施（MoonEP、FlashKDA、AgentEnv）。K3 是 2.8 万亿参数 MoE 模型，每 token 激活 16/896 个路由专家，原生视觉理解 + 100 万 token 上下文。技术报告披露的 Moon Clip 二阶优化器是数据工程维度的最大亮点：全球首次将二阶优化器落地到大模型训练中，实现 40T→20T 的训练数据效率倍增。

技术细节

• Moon Clip 优化器：新型二阶优化器，首次在大模型训练中落地。核心效果：原本需要 40T token 才能达到的训练效果，现在仅需 20T token——训练数据量减半，性能不减
• 架构效率：KDA（Kimi Delta Attention）+ AttnRes（注意力残差）3:1 混合，69 层 KDA + 24 层 Gated MLA，整体缩放效率较 K2 提升 2.5 倍
• 数据工程启示：当全球优质训练数据基本已挖掘殆尽，Moon Clip 展示了一条不同于”堆更多数据”的路径——通过优化器创新让有限数据激发更高智能水平
• 开源范围：模型权重（修改版 MIT 许可）+ 技术报告 + MoonEP（专家并行通信库）+ FlashKDA（高性能算子）+ AgentEnv（Agent 沙箱系统）
• 首日适配：阿里、华为等数十家 AI 基础设施厂商 Day0 适配，HuggingFace 模型下载量迅速攀升

对大模型数据工作的影响

Moon Clip 的 40T→20T 效率突破对训练数据工程具有范式性意义。在”数据墙”逼近的 2026 年，通过优化器创新实现数据效率倍增，可能比寻找新的数据源更具可操作性。这一思路与 DataOrchestra 的”逐例策展”形成互补：优化器创新降低数据需求量，策展创新提升单条数据利用率——双管齐下应对数据枯竭。对训练数据团队而言，Moon Clip 提示：数据效率不仅取决于数据本身的质量，也取决于模型消耗数据的方式。

---

合规倒计时下的训练数据溯源定价：从 $3,000/本书到密码学完整性证明

事件概述

距 EU AI Act 8 月 2 日关键条款生效仅余 4 天，训练数据溯源（provenance）正从合规选项变为商业必需。Anthropic 15 亿美元版权和解最终获批（7 月 20 日）为训练数据确立了约 $3,000/本书的市场锚价；同时，AI Omnibus 新增的 AI Office 执法权与 GPAI 训练数据摘要义务，使”数据来源说不清”不再是法律灰色地带而是可处罚违规。

技术细节

• Anthropic 和解定价锚点：482,460 本书 × ~$3,000/本 = $15 亿，92.77% 认领率（远超典型集体诉讼 10%），关键法律区分：训练本身可能是合理使用，但从盗版网站获取训练数据不合法
• GPAI 训练数据透明度义务（8 月 2 日起执法）：所有面向欧盟市场的 GPAI 模型提供者须发布训练数据摘要，使用欧盟 AI 办公室标准模板（2025 年 7 月发布）
• AI Omnibus 新增执法工具：AI Office 可进行现场/远程检查、场所加封、最高日均营业额 5% 滞纳金；训练数据来源不再是”自我声明”，而是可审计的法律义务
• 合规基础设施缺口：多数企业当前数据管道不具备 Article 10 要求的数据血缘追踪能力，回溯性合规成本是前瞻性的 2-3 倍
• 密码学完整性证明路径：部分合规技术方案开始采用密码学方法（如 Merkle 树 + 数字签名）为训练数据提供不可篡改的溯源证明

对大模型数据工作的影响

训练数据溯源正在从”技术选项”变为”合规刚需”，并开始有了可量化的成本。$3,000/本书的定价锚点意味着：一本未经授权使用的书，合规成本可能远超其训练贡献值。对训练数据团队的建议：在 8 月 2 日前至少完成三项准备——(1) 盘点现有训练数据来源并对照 GPAI 透明度模板；(2) 为数据管道添加血缘追踪日志；(3) 评估高合规风险数据源（如含盗版来源的语料库）并制定替换方案。数字综合法案给予高风险系统 16 个月缓冲期，但 GPAI 训练数据摘要义务没有缓冲——8 月 2 日即开始执法。