数据工程观察 · Vol.97

数据工程观察 · 2026年08月03日

EU AI Act GPAI 执法权生效日、贝叶斯域重加权优化数据混合、结构感知后训练数据组织、终端任务合成范式革命与亚十亿医疗语料策展

数据工程 EU AI Act 数据混合 贝叶斯优化 后训练数据组织 智能体数据合成 医疗预训练语料 训练数据合规

引言

8 月 2 日，EU AI Act GPAI 执法权正式生效——训练数据透明度不再是自律承诺，而是可罚款的法定义务。同日，arXiv 上三篇新论文分别从预训练数据混合优化（贝叶斯域重加权）、后训练数据组织（结构感知 mini-batch 编排）和智能体训练数据合成（Meta-Task 闭环验证）三个维度推进数据工程方法论。加上 MedLLM 发布的 MedFineWeb 参考引导医疗语料策展——揭示了亚十亿规模下能力分化而非均匀退化的新发现——本期聚焦训练数据从”合规底线”到”工程精度”的全栈升级。

EU AI Act GPAI 执法权正式生效：训练数据透明度成为可罚款法定义务

事件概述

2026 年 8 月 2 日，EU AI Act 第五章执法权正式激活。自 2025 年 8 月 2 日起 GPAI 模型提供者即已承担训练数据摘要公开、版权合规策略、技术文档等义务，但此前一年为调整期，欧盟 AI Office 无权处罚。8 月 2 日起，AI Office 获得直接执法权，可对不合规的 GPAI 提供者处以最高 1500 万欧元或全球年营收 3% 的罚款（取较高者）。此外，Article 50 透明度义务同日生效，要求 AI 生成内容必须以机器可读格式标记。

技术细节

  • Article 53 训练数据摘要：GPAI 提供者必须公开训练数据内容摘要（training data summary），包括数据构成、来源、清洗方法等。开源模型同样需要遵守版权合规策略和训练数据摘要义务。
  • Article 50 AI 内容标记：生成/篡改内容必须嵌入机器可读标记（watermarking 义务对 8 月 2 日前发布的模型宽限至 12 月 2 日）。
  • Article 54 授权代表：非欧盟境内的 GPAI 提供者（开源模型除外）必须在欧盟指定授权代表。
  • robots.txt / opt-out 信号获法律效力：版权合规策略中必须包含识别并遵守机器可读退出协议的条款。
  • Omnibus 修正：高风险系统（Annex III）完整合规延期至 2027 年 12 月 2 日，但 GPAI 义务不受影响。

对大模型数据工作的影响

这是训练数据治理的分水岭时刻。从此”训练数据摘要”不再是可选项，而是法律强制——任何向欧盟市场提供 GPAI 模型的团队，必须在文档中详细记录数据来源、清洗管线、版权合规策略。这将直接推高预训练数据的合规成本：此前仅需 Common Crawl 级别来源标注，现在需要逐数据集级溯源。同时，opt-out 信号的法律效力意味着训练数据管线必须实现 robots.txt 解析与遵守的工程化能力。训练数据合规正从”法务建议”变为”工程需求”。

ByDoRe：贝叶斯域重加权重振预训练数据混合优化（arXiv:2607.27928）

事件概述

7 月 30 日，西安交通大学团队在 arXiv 发表论文，提出 ByDoRe（Bayesian Domain Reweighting）方法——通过从 Dirichlet 分布推断域权重并引入 Gamma 先验，实现稳定高效的预训练数据混合优化，在消耗显著更少数据的情况下超越搜索式函数拟合方法。

技术细节

  • 核心问题：现有数据混合方法分两派——函数拟合派（拟合域权重→验证损失映射，再优化）依赖秩不变性/缩放定律等强结构假设，经常被违反导致估计偏差；直接优化派虽不依赖假设，但优化轨迹不稳定且计算开销高昂。
  • 贝叶斯方法：ByDoRe 从 Dirichlet 分布推断域权重，引入从观测中学到的 Gamma 先验。通过变分推断优化先验网络参数 Φ，使域权重分布适应训练动态。
  • 理论保证：为变分元目标和代理模型训练目标分别建立了收敛保证。
  • 实验结果：在显著少于搜索式方法的数据消耗下，识别出最优混合方案，且优化轨迹稳定，适合大规模应用。

对大模型数据工作的影响

数据混合优化长期以来陷入”结构假设太强 vs. 直接优化太不稳定”的两难。ByDoRe 通过贝叶斯框架将先验信息与数据驱动优化统一，为预训练数据配比提供了第三条路径。特别值得注意的是”从观测中学习 Gamma 先验”的设计——这意味着小规模代理实验的经验可以被编码为先验，直接指导大规模训练的数据配比，大幅降低试错成本。这与 ICML 2026 上 Explaining Data Mixing Scaling Laws（arXiv:2606.08167v2）发现的”容量竞争”与”噪声消减”机制形成互补：理论告诉你为什么混合有最优解，ByDoRe 告诉你如何高效找到它。

SDO：结构感知数据组织加速后训练收敛（arXiv:2607.27273）

事件概述

7 月 29 日，Gao 等人在 arXiv 发表论文，提出 SDO（Structure-Aware Data Organization）框架——首个跨 SFT/DPO/GRPO 三种后训练范式的即插即用数据组织方法，通过表示空间结构驱动的暴露反馈机制重新编排 mini-batch 组成与样本暴露。

技术细节

  • 暴露失衡问题：现有嵌入分组方法在训练前构建固定分区，无法适应训练过程中样本暴露的动态变化。结果是一些样本被过度更新，另一些欠优化。
  • 两个核心机制：
    1. 局部感知批处理：在每个 epoch 内，通过 KNN 邻域遍历在冻结外部嵌入上构建语义连贯的 mini-batch，产生更一致的梯度。
    2. 暴露平衡调度：跨 epoch 记录每样本参与次数，降低过度暴露样本的采样概率，保持长期覆盖。
  • 理论贡献：建立了表示空间局部性与批内梯度一致性之间的理论联系。
  • 无需 warm-up：SDO 操作在冻结的外部嵌入上，避免模型预热训练开销。
  • 实验结果：在 SFT、DPO、GRPO 三种后训练范式上均加速收敛，最大增益出现在训练早中期，且不同问题类型的准确率更均衡。

对大模型数据工作的影响

后训练效率优化长期聚焦在”选什么样本”（数据选择）和”按什么顺序训练”（课程调度），但忽略了”怎么组 mini-batch”。SDO 填补了这一空白：不是丢弃”不好”的样本，而是通过智能编排让每批数据产生更一致的梯度信号。这与去年北大的 DELT 范式（Folding Ordering 替代随机打乱）遥相呼应——两者都指向同一个结论：随机打乱训练数据不是最优的，数据组织本身是一个独立且重要的优化维度。SDO 的即插即用特性意味着团队可以在不修改学习目标、训练调度的情况下获得加速收益。

Meta-Task：将终端任务合成本身定义为一个终端任务（arXiv:2607.27929）

事件概述

7 月 30 日，Pan 等人在 arXiv 发表论文，提出 Meta-Task 框架——将终端任务合成重新定义为 Terminal-Bench 格式的任务本身：一个智能体在真实容器环境中迭代生成、执行、验证任务，使合成组件在生成循环内即被检查。仅用 3,221 条合成轨迹，Qwen3-32B 在 Terminal-Bench 2.0 上达 31.8% Avg Pass@1。

技术细节

  • 现有痛点：终端智能体训练数据合成面临两大限制——(1) 任务生成与真实执行脱节导致可靠性弱；(2) 依赖已有仓库导致多样性和可扩展性受限。
  • 自引用设计：Meta-Task 将”合成终端任务”本身定义为一个 Terminal-Bench 格式的终端任务——智能体在真实容器环境中工作，生成的每个任务都被执行和验证，确保内部一致性和可执行性。
  • 多维解耦：将目标任务需求沿多个维度解耦，引入多阶段机制先设计新颖任务规范再生成具体任务，并可选地集成外部材料增强多样性和真实性。
  • LLM-as-Judge 过滤：最终训练数据经过 LLM 裁判质量过滤。
  • 关键数据：3,221 条轨迹 → Qwen3-14B 22.5% / Qwen3-32B 31.8%，显著优于使用更多训练数据的同期方法。

对大模型数据工作的影响

Meta-Task 的”自引用合成”范式是一种重要的方法论突破——不是先生成再验证（开环），而是在生成过程中就闭环验证（闭环）。这解决了智能体训练数据合成中最顽固的可靠性问题：传统管线中，生成的任务可能根本不可执行，但只有在训练后部署时才会发现。Meta-Task 将验证提前到合成阶段，将”不可执行任务”的发现成本从”训练后”移到”合成时”。此外，“仅 3,221 条轨迹”的高效性再次验证了数据质量远比数量重要的趋势——与 FrontierSmith/NexForge 等工作一致。

MedLLM + MedFineWeb：参考引导医疗语料策展与亚十亿能力分化发现（arXiv:2607.27490）

事件概述

7 月 31 日，Rahman 等人在 arXiv 发表论文，发布 MedLLM（0.1B 参数全开放医疗语言模型）和 MedFineWeb（参考引导医疗语料）。核心发现：在亚十亿规模下，医疗能力并非均匀退化，而是按任务类型分化——上下文引导 QA 接近 7B 模型，知识回忆 QA 则接近随机基线。

技术细节

  • MedFineWeb 策展方法：从通用 Web 数据中，通过嵌入相似度检索与医疗 QA 参考集最相近的文本块。使用三组参考集（MedMCQA / MedQA / PubMedQA），各组 top-50% 选取近于不重叠，合并去重后约 3M 文本块 / ~3B token。
  • 泄漏验证：标准化全文哈希无精确匹配，20 词 n-gram 重叠仅 22 块（~0.0018%），手动确认为共享生物医学术语而非基准题目。性能增益集中在上下文引导 QA 而非知识回忆，与泄漏假说预测的模式相反。
  • 能力分化发现：0.1B 模型在上下文引导 QA（PubMedQA）上距医疗适配 7B 模型仅 2.9pp，超越指令微调/通用 7B 基线；但在知识回忆 QA（MedQA 临床案例）上接近任务地板。7B 规模下两种能力兼备，分化仅在容量稀缺时显现。
  • 三阶段管线：通用预训练（课程序列长度调度）→ MedFineWeb 领域微调 → SFT+DPO 偏好对齐。

对大模型数据工作的影响

MedFineWeb 的参考引导策展方法为垂直领域语料构建提供了一种低成本范式——无需大规模标注，只需嵌入相似度检索即可从通用 Web 数据中精准定位领域相关内容。更重要的是”能力分化”发现的实践意义：在端侧部署场景下，上下文引导型任务（RAG、文档理解）可以在亚十亿规模实现接近大模型的表现，但知识回忆型任务（闭卷问答）受限于模型容量而非数据质量。这意味着端侧模型的数据策略应倾斜于增强检索与推理能力，而非试图通过数据填补容量鸿沟。此外，三组参考集选取的近于不重叠特性揭示：不同类型的医疗任务需要的语料风格不同，单一质量评分会抹杀这种差异性。