数据工程观察 · 2026年08月18日

本周数据工程领域呈现三条主线：训练数据可审计性从合规需求走向基础设施落地；预训练数据重复策略获得反直觉缩放定律支撑；中文语料精细化标注与智能体训练数据开源填补关键空白。

OpenWALDO：训练数据溯源从合规义务走向”AI 材料清单”基础设施

事件概述

Rocky Linux 创始人 Gregory Kurtzer 于 7 月 29 日公开发布 OpenWALDO（Open Weights, Artifacts, Licenses, Data, Origins），8 月 11 日起获广泛报道。该项目将软件物料清单（SBOM）理念移植到 AI 训练数据层，建立社区治理的可审计语料库。截至 8 月 11 日，公开索引已覆盖 1673 亿参考 token / 7510 万文档 / 20 个语料族 / 1051 个分片 / 18 种许可标识。

技术细节

架构核心是将”含义”与”字节”分离：Git 治理可审阅的索引（语料描述、来源声明、许可断言、文档计数、对象引用），大型 Parquet 数据体通过 SHA-256 内容寻址存于联邦旁路存储。在此基础上构建 AI Bill of Materials（ABOM）——一条从语料选择到模型发布的不可变溯源链：语料 BOM → 导出 BOM → 训练 BOM → 模型 BOM → 发布 BOM，每层锚定精确的哈希与版本。MIT 数据溯源倡议审计 1800+ 文本数据集发现 70%+ 许可信息缺失、50%+ 许可错误分类——OpenWALDO 正是填补这一缺口。

对大模型数据工作的影响

EU AI Act Article 53(1)(d) 执法权已于 8 月 2 日生效，罚款最高全球年营收 3% 或 1500 万欧元。OpenWALDO 的 ABOM 架构使训练数据摘要从”事后文档”变为”过程内嵌记录”，为模型提供商提供可工程化合规路径。更深远的影响在于：当训练数据行为如开源依赖般可命名、可审阅、可版本化，模型采购方可以像审计软件供应链一样审计模型数据供应链。预计 AI-BOM 条款将如 Executive Order 14028 后的 SBOM 条款一样进入企业采购合同。

领域数据重复缩放定律：大模型应重复高质量数据更多次

事件概述

arXiv:2608.14071（8 月 14 日，Jingwei Li 等）系统研究了 LLM 预训练中领域数据重复的缩放行为，发现两个反直觉结论。

技术细节

在训练 token 预算随模型规模按比例增长的实际场景下，研究发现：(1) 固定 TPP（tokens-per-parameter）时，最优重复次数随模型规模温和增长——更大的模型可以且应该将可用高质量领域数据重复更多次；(2) 跨域最优重复次数与域的最终验证损失强负相关：损失越低的域（即模型越”容易”的域）可以从更多重复中获益，而唯一数据量与最优重复次数仅弱相关。这意味着：在小模型上以相同 TPP 调优的重复次数可为大模型提供实用估计，且数据”质量”（用域损失代理）比”数量”更能决定重复策略。

对大模型数据工作的影响

这项工作直接挑战了”4-epoch 上限”的经验法则。在实践中，它意味着数据配比策略需要从”各域统一重复”转向”按域损失差异化重复”——低损失域（如通用文本）可承受更多重复，高损失域（如数学、代码）则需更多唯一数据而非重复。这与 Data-Constrained Scaling Laws（Muennighoff et al., 2023）形成互补：后者量化了重复的边际递减，而本研究进一步指出递减速率因域而异，且随模型规模变化。对中训练数据工程尤其关键——当高质量领域数据稀缺时，重复策略的精细调优成为核心杠杆。

ChineseWebText 2.0：3.8TB 中文语料四维精细化标注

事件概述

ChineseWebText 2.0（arXiv:2411.19668，Pith 审阅 8 月 12 日）发布了迄今最大规模的中文预训练语料精细化标注数据集，3.8TB 清洗后中文网页文本每条附带四个标注维度。

技术细节

标注管线 MDFG-tool 分两阶段：(1) 手工规则清洗（平均行长 ≥ 10 字符、文档 ≥ 200 字符、中文占比 ≥ 30%、敏感词行过滤、13-gram 去重）；(2) 三个标注模型——BERT 质量评估器（文本级 + 最大池化 token 级表示，MSE + margin-ranking + cosine 损失 + 自训练）、FastText 域分类器（11 个域，关键词规则引导迭代重训）、FastText 毒性分类器（公开中文毒性数据集 + 两轮 LLM-in-the-loop 优化）。输出每条记录包含质量分数、域标签、毒性分数和毒性标签。人工评估显示质量分数与人类接受度正相关、域分类单标签精度 88.33% / 多标签微精度 74.48%、毒性分类精度 83.67%。另含 163 万条 3.16GB 毒性子集，为最大公开中文毒性数据集。

对大模型数据工作的影响

中文预训练语料的精细化标注一直是空白。ChineseWebText 2.0 使研究者首次能按质量-域-毒性三维联合筛选中文预训练数据，而非仅依赖粗粒度的语言过滤。对安全对齐工作尤为关键：3.16GB 毒性子集为中文安全微调与评估提供了迄今最大的公开资源。但需注意 Pith 审阅指出的毒性评估内部一致性问题——0.99 阈值的可靠性在小规模平衡测试集上验证而非在全语料分布上验证，实际使用中应保留人工抽检环节。

LAION eV 智能体 CLI 训练数据：带全链路决策标注的开源智能体数据

事件概述

LAION eV 于 8 月 14 日在 HuggingFace 首发命令行场景多轮对话交互数据集（4899 条 + 5721 条两版本），覆盖 bash 指令交互全流程，填补”带全链路决策标注”的智能体训练数据空白。

技术细节

每条样本包含完整的对话序列（role + content）、智能体标识、模型名称与提供者、日期、任务描述、回合编号、运行 ID、试验名称、执行结果、验证器输出及追踪来源——覆盖从任务发起、交互过程到结果校验的全生命周期。这使得研发团队可基于标注结果直接定位模型决策环节的误差点，而非仅看最终结果。两版本分别使用 stack 和 nemotron 基线，敏感信息（终端令牌/凭证）已替换为删除标记，替换记录保存在 redaction-report.json 中。

对大模型数据工作的影响

智能体训练数据的核心瓶颈已从”数量”转向”标注维度”。现有智能体轨迹数据多为对话 + 结果对，缺乏中间决策节点的可归因标注。LAION eV 的全链路标注范式使训练数据从”端到端行为克隆”升级为”决策节点可审计的监督信号”。对 DevOps 智能体、IT 运维助手等垂直场景，这意味着可以精准定位智能体在”指令合规性判断”vs”多轮操作纠错”等具体环节的弱点，而非仅看整体成功率。

LittleLearner：预训练知识边界的实证锚定

事件概述

LittleLearner（arXiv:2608.13545，8 月 13 日提交）构建了 88B token 的受控预训练语料 LittleCurriculum（严格限定美国 K-5 小学内容），训练 5B 模型从零验证”预训练暴露决定能力天花板”假设。

技术细节

五阶段过滤管线从 FineWeb-Edu 中筛选，保留约 35% K-5 段落和 0% 超出 K-5 段落（独立 WeeBit 检查仅保留 2.48% 超范围段落，手动检查仅 0.05% 含明确高级概念）。0.6B→5B 参数缩放显著提升范围内能力，但对 Grade 8 数学等超范围任务几乎无提升。SFT + GRPO 同样主要提升范围内表现。Few-shot 示例改变响应风格和长度但无法恢复超范围能力。无限制控制模型在高级任务上提升远大于受控模型，差距随规模扩大。

对大模型数据工作的影响

这是迄今最干净的”预训练数据决定能力边界”实证。对数据工程的核心启示是：后训练干预（SFT/RL/ICL）更擅长”释放”预训练已暴露的知识，而非”创造”预训练中缺失的能力。 这意味着数据策展策略应将重心从”后训练能补什么”转向”预训练必须含什么”——尤其是对推理、代码等高阶能力，预训练语料的质量和覆盖度比后训练策略更能决定最终上限。对中训练设计也有直接含义：如果中训练数据缺乏目标域的底层知识，仅靠格式对齐无法补足能力缺口。