数据工程观察 · Vol.121

数据工程观察 · 2026年09月16日

五条数据工程动态：7 人团队全开源 7B 数据与配方（含一次 shuffle 配比事故）、minibatch persistency 八年后的预注册复测、SlopShape 用结构签名识别 AI 生成网页内容、程序化音频源的双轴扩展与源相关掩蔽率、以及把数据归因重述为影响矩阵估计。

数据工程 预训练数据 数据配方 数据复用 数据清洗 合成数据 数据集 AI生成内容检测 数据归因 Scaling Laws 开源模型

本期五条里，一条来自量子位与 Hugging Face Papers 当日榜，四条出自 arXiv 9 月 15 日批次（cs.LG 366 条、cs.CL 204 条、cs.AI 408 条）。把它们并排看，共同指向同一个问题：数据到底值多少。数据复用在什么条件下真的省数据、网页语料里的 AI 生成物能不能靠结构特征认出来、合成数据源该按哪个轴扩、单条样本对预测的影响能不能批量估计，最后是一条把逐阶段数据配方连同训练日志一起公开的实践记录。

ZGCM-1：7 人团队把 7B 的逐阶段数据与配方一并开源，包括一次 shuffle 事故

事件概述：北京中关村学院 7 名博士生用一个暑假从零训出 7B 稠密模型 ZGCM-1，把预训练、中训练、后训练三个阶段的权重、中间 checkpoint、训练代码、逐阶段数据与数据配方、W&B 日志全部开放。技术报告挂在 arXiv 2609.13356，署名 22 位作者。训练数据以 zgcagi/ZGCM-1-Data 的形式发布，规模标签为 1B<n<10B，覆盖 pretraining、midtraining、SFT、code、reasoning、long-context，9 月 15 日有过一次更新。模型在 14 项推理评测的同规模比较中处于领先，部分数学推理与搜索任务与 Qwen3-235B-A22B、GLM-5.1 可比；16K 预训练达到相同 loss 的时间，相较标准 BF16/AdamW 基线提升约 4.2 倍。量子位 9 月 15 日的报道（https://www.qbitai.com/2026/09/489227.html）还原了从火锅桌上聊出想法到开源的全过程。

技术细节：数据侧最值得看的是一次训练事故。训练中 loss 仍在正常下降，模型能力却突然明显退步，曲线看不出任何异常；一路追下去，问题定位在底层的数据分片与 shuffle 环节——实际送进训练的数据比例发生了波动，模型吃到的并不是配方里写下的那一份。事后团队加密了中间 checkpoint 的保存密度，并建立 ACE 原子能力评测体系，把能力拆成 18 类、183 项，用 2503 个探针检查，在内部分布式评测系统里一轮诊断大约两三分钟。SFT 阶段留下三条筛选结论：更严格的质量筛选让样本量减少约 44.9%，整体评测表现反而提升，各项能力并非同步受益；长思维链数据比例过高会损害指令遵循；Agent 数据脱离通用能力单独训练会出问题。组织方式上，团队调度几百个 Agent 分成数据、实验、评测子团队，数据 Agent 按人给定的质量要求编写清洗脚本、检查数据分布是否达标，再依据结果自动调整规则与阈值，形成闭环。效率部分则来自局部注意力与全局注意力混合（上下文 16K 逐步扩到 64K、256K，256K 下相较全注意力吞吐约 3.94 倍、KV Cache 降至约六分之一），以及 Muon 加 FP8 配合延迟缩放与 TWEO 抑制极端激活值。

对大模型数据工作的影响：数据配方公开这件事本身比最终分数更有价值——中间 checkpoint 加逐阶段数据，让「某次能力变化来自数据还是来自训练方法」第一次变得可查。shuffle 那条事故尤其该写进流水线检查清单：配比漂移不会体现在 loss 曲线上，只能靠高频能力探针发现。SFT 减量 44.9% 却整体变好，也给质量过滤的收益提供了一个来自完整训练流程的样本，而不是离线小实验的外推。

相关链接：

Minibatch persistency 八年后再测：复用换来的是数据，不是速度也不是电

事件概述：minibatch persistency 指在同一个 minibatch 上连续走 K 步再换新，2019 年被 data echoing 吸收时留下一个质疑——复用只是在模仿更大的学习率，此前没有任何基线的调优程度与方法本身相当。这篇预注册研究补上了缺的对照：49M 参数 Transformer、FineWeb-Edu、batch size 取 32/128/512，每格 8 个 seed，每个 batch size 与每个 arm 各自调学习率，对照组只改采样方式。全文 36 页、7 图、12 表，已在 OSF Registries 预注册。

技术细节：每条主声明都被读成「达到固定 loss 的代价」，分四个轴统计：优化器步数、新 token 数、秒、插座端焦耳；随后在新 seed 与新一代 GPU 上复制。在更深目标 τ′ 上（Blackwell，n=8），B=32 时复用 arm 的新 token 是基线的 1.410 倍 [1.396, 1.424]，步数 5.638 倍，秒 5.589 倍，焦耳 5.647 倍；B=128 时新 token 降到 0.357 倍 [0.347, 0.367]，步数却是 1.425 倍、焦耳 1.423 倍；B=512 时新 token 0.221 倍，步数 0.878 [0.805, 0.957]，秒 0.875，焦耳 0.879 [0.799, 0.967]。B=512 这条被作者自己加了限定：把三组放在同一条 step schedule 上时，步数比的置信区间覆盖 1，复用效应与学习率调度上的位置在 n=8 下分不开。小 batch 那一格最反直觉——B=32 时复用读到的新 token 比基线更多，不是更少。

对大模型数据工作的影响：这条把「多跑几个 epoch 还是多搞点新数据」这道老选择题量化了。按作者口径，复用值得用的场景是新数据而非算力成为瓶颈的时候——语料快用完、流水线按样本付费、数据流无法回卷；能反复读取的数据，用间隔 epoch 效果更好或至少持平。做数据预算规划时，B=32 那个 1.410 是一条硬提醒：小 batch 下谈复用省数据，方向上就错了。

相关链接：

SlopShape：不靠词级特征，用结构签名认出 AI 生成的商业网页内容

事件概述：词级检测器识别未经编辑的 AI 文本近乎完美，文献里却记录了它们在改写下的脆弱；词级分数既不能刻画一段文本，也不能指认是哪个模型写的。SlopShape 把识别层次下移一层，改用结构签名：信息怎么呈现、以什么顺序、带什么证据、用什么口吻。它把 StoryScope（Russell et al., 2026）在 AI 小说上的做法复现到商业内容上，语料为 2,250 篇 ChatGPT 之前的人类博客（268 个公司域）对 11,250 篇由 5 个前沿模型生成的镜像帖，全文 20 页、5 图。

技术细节：先由一个 LLM 施加 214 特征的量表，再做可靠性过滤——剔掉 52 个特征，其中 11 个退化（至少 98% 的帖子得到同一答案）、3 个越界、38 个在五次重复打分中不稳定，最终量表为 187 个结构特征加 27 个风格特征。人工金标一致性 human–human kappa 0.928、human–model 0.946。划分按公司域互斥（1,566/294/290 个 prompt，对应 198/32/38 个域），避免一个公司的文风跨集泄漏。只喂 187 个结构特征时，held-out 公司上的 macro-F1 为 98.0；把每篇 AI 帖子交给它自己的模型改写一遍后是 98.1，基本不掉。信号还能做归因：79.3% 的 AI 帖被指到正确来源，随机概率是 16.7%；人类帖则占据稀有的结构构型。pipeline、量表、prompt 与代码一并释放。

对大模型数据工作的影响：对预训练语料清洗，这条给出了一条不依赖词级统计的检测路径。网页语料里 AI 生成内容的占比这几年一路上升，而常见的去重与质量打分建立在词面重复和困惑度之上，改写一次就能绕过去。结构签名抗改写，代价是量表需要 LLM 逐条打标，成本落在离线建设而非在线过滤。释放出来的 pipeline 可直接拿来搭自己的语料侧 AI 含量抽样审计。

相关链接：

程序化音频预训练：源要按两个轴扩，掩蔽率得跟着源的统计走

事件概述：程序化音频已被证明是可迁移的音频表征来源，设计原则却一直不清楚。这篇投 ICASSP 2027 的论文用可控源 FormulaBank 重问两件事：程序化源该怎么扩，以及在自然音频上长出来的训练配置能不能原样搬过来。

技术细节：作者把「规模」拆成两个轴——公式类覆盖度 C 与类内渲染多样性 I。变 C 时固定 I=125，变 I 时固定 C=224，在 FDSL 与 AudioMAE 两种框架下各跑一遍。两者并不等价：FDSL 下覆盖度给出更清晰的趋势，渲染多样性带来的变化更小也更不稳定；AudioMAE 下覆盖度先快速增益、随后出现任务相关的饱和，渲染多样性则在下游任务上给出更宽的提升。为排除「只是多训了一会儿」，加了 matched-budget 对照——FDSL 固定源规模 28K clips，AudioMAE 固定 7M clip presentations，趋势仍在。跨范式检查把同一个 FormulaBank 源喂给 AudioMAE、BYOL-A、SSAST、PaSST，各自保留原生编码器与训练配方：AudioMAE ViT-B 在 ESC-50 上 86.25、US8K 85.78、SCv2 97.77，从零训练的 ViT-B 是 69.50、73.36、96.74。掩蔽率那段最实用：FormulaBank 的最优区间在 r=0.10–0.25，配对的 AudioSet-28K 却偏好 r=0.50–0.75。共享 codebook 的 patch 熵给出了解释——FormulaBank 的边缘熵 3.140、类内 2.104、时序 0.715，AudioSet-28K 是 6.701、4.941、3.807，同一个掩蔽率在两种源上诱导出的预测难度并不相同。

对大模型数据工作的影响：把「数据源扩展」从一个维度拆成两个可控维度，是这套工作最可迁移的部分。做合成数据扩充时，先问清加的是「新类别、新题型」还是「同类的更多样渲染」，两者在自监督与掩码重建这两类目标下的收益曲线不同，预算有限时不能互相替代。掩蔽率那条则提醒：训练配置不是源无关的默认值，换源要重扫。多模态预训练同理，图像、视频、音频合成源之间的统计差异只会更大。

相关链接：

数据归因规模化：把影响矩阵当成一个待估计的大矩阵来测

事件概述：数据归因要回答单条训练样本如何塑造模型的预测，支撑着数据估值、机器遗忘与可解释性。基于元梯度的方法（如 MAGIC）对每个预测精确计算影响，代价是每个预测都要单独跑一遍训练。这篇把「有预算的归因」重新表述成一个估计问题：用少量测量去恢复一个很大的影响矩阵。

技术细节：关键观察是一次 replay 测量的是其行的一个线性组合。作者指出，最适合「恢复矩阵」的测量与最适合「归因本身」的测量并不相同，由此给出两个算法——Mage 面向重建，Spell 面向归因，两者都跑在既有元梯度机制上，不额外增加成本。实验在 CIFAR-10 的 ResNet-9 与 TinyStories 的 GPT-2 式解码器上做：固定预算 B=50、丢弃 1% 数据的设定下，Spell 达到 MAGIC 上界的 37%（CIFAR-10）与 39%（TinyStories），在两个域上都是 rank-B spherical SVD 的 85%。Mage 的重建误差最低，Spell 的线性 datamodeling 分数最高，作者用 Y 的几何解释了这一表面矛盾。另一个结论落在成本结构上：开销由测量预算决定，不由查询数量决定。

对大模型数据工作的影响：对数据工程的实际含义是，「哪些样本该留、哪些该删」这类问题开始有批量解。按查询计费的归因在去重、去污染、版权剔除这些需要一次评估成千上万条样本的场景里跑不动；成本与查询数脱钩之后，这类批处理才谈得上纳入流水线。目前公开的仍是中小规模验证（CIFAR-10 与 TinyStories 级别的 GPT-2），到大模型量级能否保持，先记为未决。

相关链接：