数据工程观察 · 2026年08月05日

引言

本期聚焦三大方向：监管合规从纸面走向执法——EU AI Act GPAI 执法权于 8 月 2 日正式生效，训练数据透明度从合规义务变为可罚款的实际风险；多语言预训练语料基础设施跃迁——HPLT 3.0 以 30T token 近 200 语言刷新公开多语言数据规模纪录；地方语料基础设施成型——贵州语料服务平台 700TB 数据集上线，民族语言与垂直领域数据成为差异化资源。此外，LAION eV 发布人声爆发分类 V2 数据集，填补非语音人声 AI 训练数据空白。

---

EU AI Act GPAI 执法权生效：训练数据透明度从合规义务走向工程实践

事件概述

2026 年 8 月 2 日，EU AI Act 对通用目的人工智能（GPAI）模型的执法权正式生效。欧盟 AI Office 获得完整执法工具箱：可要求文档、进行技术评估、命令纠正措施、限制或撤回模型、并处以最高全球年营收 3% 或 1500 万欧元（取高者）的罚款。训练数据摘要公开（Article 53）、版权合规策略、AI 生成内容机器可读标记（Article 50）均成为法定义务。

技术细节

• 执法工具箱：Article 91（文档请求）、Article 92（模型评估访问权）、Article 93（纠正措施/市场撤回）、Article 101（罚款条款，四条独立路线可叠加）
• 合规时间线：2025 年 8 月 2 日后上架的新模型即时可审计；此前上架模型宽限至 2027 年 8 月 2 日
• 训练数据摘要要求：粒度介于”我们使用了 Common Crawl”与完整数据集清单之间，EU AI Office 将发布模板
• 版权 opt-out：必须建立机制尊重 robots.txt 风格的选择退出和 TDM 预留声明
• 系统风险阈值：训练计算量 >10²⁵ FLOP 的模型触发额外对抗性测试义务（Article 55）

对大模型数据工作的影响

这是预训练数据工程从”技术优化”向”合规工程”转型的分水岭时刻。训练数据策展管线必须内嵌版权合规检查（opt-out 信号处理）、数据溯源能力（训练数据摘要自动生成）和合成内容标记机制。此前 EU AI Act 的 GPAI 义务仅是法律文本，8 月 2 日起有了实际执法后果——不合规即面临罚款。对开源社区而言，开放权重模型的训练数据透明度要求反而更明确（Article 53 仅要求版权策略 + 训练数据摘要），这为 OLMo、Nemotron-CC 等坚持完全开放的团队提供了竞争优势。预计版权争议将成为执法首波焦点，出版与媒体行业已蓄势待发。

---

HPLT 3.0：30T token 近 200 语言多语言预训练语料刷新公开数据规模纪录

事件概述

High-Performance Language Technologies（HPLT）联盟发布 v3.0 数据集，以约 30T token（约 13.5T Gemma-3 subword token）覆盖近 200 种语言-文字组合，成为当前公开可用的最大规模多语言预训练语料。该成果发表于 LREC 2026（2026 年 5 月，Palma de Mallorca），数据集以 CC0 许可发布。

技术细节

• 数据规模：约 30T whitespace token / ~11.5B 文档 / 198 种语言-文字组合，源自 7.2PB Internet Archive + Common Crawl（2012–2024）
• 管线升级（vs v2）：升级 Trafilatura 减少样板文本、改进语言识别（细化阿拉伯语和中文编码）、全局去重（MinHash cluster size 作为元数据）、集成 TurkuNLP Web Register Labels、新增 Web Docs Scorer（WDS）质量评分
• WDS 分箱机制：文档按 WDS 分数全局排序并分片为 10 个或 5 个质量分箱（bin），用户可按需选择质量级别
• 评估框架 HPLT-E：9 种欧洲语言、127 项任务、多提示设计减轻提示敏感性
• 验证结果：v3 模型在 8 种语言上一致优于 v2，尤其是乌克兰语、巴斯克语、加泰罗尼亚语、捷克语和法语；唯一性段落比例从 v2 的 52% 提升至 v3 的 73%
• 57 个编码器-解码器模型 + ~30 个小型 GPT 参考模型开源

对大模型数据工作的影响

HPLT 3.0 重新定义了”多语言预训练数据基线”——此前 FineWeb/Edu 主要服务英语，Nemotron-CC/MultiSynt 虽有合成多语言数据但非原生。HPLT 3.0 的 CC0 许可 + WDS 质量分箱设计使研究人员可以按语言、按质量级别灵活采样，这是多语言 LLM 训练的工程化进步。WDS 分箱机制特别值得关注——它将”质量过滤”从二元决策（保留/丢弃）变为连续谱采样，与 CuraWeb 的质量-冗余-多样性联合优化理念呼应，标志着预训练数据策展从”过滤”范式向”采样”范式的持续演进。

---

贵州语料服务平台：700TB 地方特色数据基础设施正式运行

事件概述

贵州省数据集（语料）服务平台自 7 月 10 日上线运行以来，截至 8 月初已上架 118 个高质量数据集，总数据规模突破 700TB，吸引 240 余家生态伙伴入驻共建。该平台定位为”语料超市、语料加工厂、语料生态枢纽”，是国内首个省级层面的 AI 训练数据综合服务平台。

技术细节

• 三大数据矩阵：公共数据（521 万条民生热线知识库、千万级城市运行事件数据）、产业数据（煤矿全环节工业数据、酱香白酒工艺图谱）、科研数据（月球科学、人口迁徙）
• 民族语言特色：苗语、布依语、侗语、水语等稀缺双语平行语料，含文本语料、无标注音频、汉民平行句对、国际音标对齐语料
• 山地气象：9TB+ 喀斯特卫星遥感数据，10 个山地气象服务数据集
• 智慧三农：29 万张农作物标注图像、300 余类植物健康数据
• 医疗：3.5 万份脱敏全科临床病历、5TB 对齐医学影像、8000 份肿瘤专科病例
• 司法：2000 万份裁判文书
• 六大门类数据形态：文本、表格、图像、音频、视频、多模态融合，适配预训练/微调/CV/ASR 等场景
• 全流程合规：清洗→标注→脱敏一站式加工，交易交付全操作留痕可追溯

对大模型数据工作的影响

贵州平台的实践揭示了中国地方 AI 数据基础设施的两种新趋势：一是数据稀缺语种的垂直策展——民族语言平行语料在主流预训练语料中几乎为零覆盖，这类数据不是”量”的问题而是”有无”的问题；二是语料平台从”数据仓库”向”数据工厂”转型——不再仅提供原始数据下载，而是集成治理-标注-合规-交易-微调全链路服务。结合国家数据局行业高质量数据集建设行动方案（6 月发布），地方语料平台正在成为连接公共数据与 AI 训练需求的关键基础设施层。

---

LAION eV 人声爆发分类 V2：83 类非语音人声 AI 训练数据填补开源空白

事件概述

2026 年 8 月 1 日，LAION eV 在 HuggingFace 发布 vocal-burst-classification-v2 数据集，覆盖 83 个分类标签（82 种非语音人声爆发类别 + 1 个 no_burst 类别），为笑声、哭声、咳嗽、喘息、尖叫等非语音人声识别提供标准化开源训练数据。

技术细节

• 双来源数据：DramaBox 等文本到音频合成模型生成片段 + vocal-bursts-clean 清洗后音频
• 双标注器机制：Gemini Flash 2.5 验证合成片段（improved_synthetic_vocal_bursts），Gemini 3.6 Flash 对 vocal-bursts-clean 盲重标注
• 标注纠偏：原 clean 标签噪声极高（Gemini 3.6 仅 5.8% 一致率），V2 用盲重标注替代
• 非人声类别折叠：原 V1 含手/身体撞击类别（Finger Snaps、Hand Scratching Head 等），V2 折叠入 no_burst
• 配套模型：单标签分类器（laion/vocalburst-classifier-single，83-way softmax，~3M 参数）+ 多标签分类器（laion/vocalburst-classifier-multilabel，83-way sigmoid，~14.4M 参数），均基于 VoiceCLAP 冻结编码器
• CC-BY-4.0 许可

对大模型数据工作的影响

非语音人声（paralinguistic vocal bursts）是多模态 AI 交互的关键信号——理解用户的笑声、叹息、咳嗽等对对话智能体至关重要，但此前该领域缺乏标准化标注和开源训练数据。LAION eV 的 V2 数据集采用了合成+真实混合策展 + LLM-as-Judge 双重验证的模式，这是音频领域数据策展方法论的新范式。值得关注的是，V2 发现原 V1 clean 标签一致率仅 5.8%，这意味着此前基于该标签训练的模型可能存在系统性偏差——提醒社区在复用标注数据时必须做独立验证。

---

HarMoE：数据集解耦专家为多源医疗预训练数据协调提供新范式

事件概述

2026 年 8 月 4 日，伯尔尼大学与上海交大团队提交 HarMoE 论文（arXiv:2608.02252），提出数据集感知混合专家框架解决多源异构医疗数据预训练问题，配套发布 87.3 万份协调化胸部 X 射线数据集。

技术细节

• 核心问题：现有多标签分类数据集提供比自由文本报告更清晰的疾病信号，但标签本体、标注协议、采集流程差异导致模型将临床语义与数据集身份纠缠
• 数据集解耦专家：共享医学语义在浅层学习，源特定变化限制在深层解码器的轻量残差专家中
• 统一疾病词汇 + 掩码多数据集监督：利用互补标注而不引入假阴性
• 87.3 万份协调化数据集将开源
• 实验结果：在零样本分类、分布外迁移和定位任务上均优于强基线

对大模型数据工作的影响

HarMoE 揭示了一个在预训练数据工程中被长期忽视的问题：多源数据组合不是简单的堆叠。当来自不同数据集的样本存在标签本体和标注协议差异时，简单混合训练会导致模型学习数据集身份而非临床语义。这与 CuraWeb 的域感知规则过滤、DataOrchestra 的逐例策展理念呼应——预训练数据策展的精细化正在从”文档级”深入到”数据源级”。对于使用异构数据集（Common Crawl 不同快照、不同来源领域数据）的通用 LLM 预训练，数据集解耦专家机制可能同样适用：让模型在共享层学习跨源通用特征，在专用层保留源特定知识。