数据工程观察 · Vol.125

数据工程观察 · 2026年09月20日

本期五条动态：时间序列预训练语料的模式均衡与可学性同步、跨语言知识隔离归因到 token 空间、Croissant 数据集描述符补上可执行判定语义、停用词删除这一清洗默认的穷举消融检验、说话人归属语料 PDC 的 TSP 协议与跨供应商标注一致性。

2026年9月20日数据工程预训练数据数据配比语料构建数据清洗数据集 Scaling Laws 多语言数据标注数据治理标注一致性时间序列

本期五条动态集中在同一个问题上：语料到底该按什么规则组织。两份工作给出了可直接落地的配比与切分结论（时间序列语料均衡、跨语言 token 空间），一份工作给数据集描述符补上了执行语义，剩下两份则从相反方向提醒——沿用的清洗默认未必经得起检验，而自动抓取的语料必须先把「谁在说」这件事钉死。

QUALS：把「语料均衡」拆成模式分布与可学性两件事

事件概述：时间序列基础模型的预训练普遍靠堆语料规模取胜，采样策略停留在数据集级或领域级。QUALS 提出一套语料均衡框架，主张规模之外的两处失衡——模式分布偏斜与模式间可学性差异——才是数据效率的瓶颈。

技术细节：框架分三阶段。先用一个层级化的 VQ-SwinTTS 编码器把时序实例压成多尺度 patch 表示并映射到码本；再做模式量化，借码本协方差矩阵的谱旋转与基于经验累积分布的均匀分箱，把序列级 patch 索引归并到容量受限的「模式箱」；最后由策略网络给每个箱分配采样权重，并用 GRPO 依据各箱的相对收敛速度更新奖励。原始语料约 239B 点（BLAST 为 321B），精挑后留 81.89B 点（BLAST 为 81.10B）；表征构建花 20 GPU 小时，对照 BLAST 的统计特征路线要 336 CPU 小时，重采样 12 CPU 小时、再平衡 7 GPU 小时。分布侧的失衡很直观：ETT 与 Weather 只覆盖 2% 到 4% 的模式空间，即便是合成数据也有近一半模式箱闲置。可学性侧的收益更陡——收敛最慢的那一组在加权采样下 25k 步就达到目标阈值，省掉 87% 的优化预算。落到零-shot 成绩，TimeMoE-Base 在 QUALS 上用 26.20B token 拿到 0.315/0.353（MSE/MAE），官方 checkpoint 用 419.43B token 才到 0.350/0.381；ChronosBolt-Small 的 61.86B token 换 0.326/0.347，优于官方的 0.358/0.360。长期预测相对官方 checkpoint 的 MSE/MAE 改善在 3% 到 20% 区间，ARIES-TEST 上 MOIRAI 的 MSE 降低超过 60%，在剔除泄漏的 GIFT-Eval 配置下 MASE/CRPS 相对误差降 7% 至 22%。

对大模型数据工作的影响：这条思路可以整段搬到文本预训练。过去做配比，权重往往挂在数据源或领域上，粒度粗到「网页 / 代码 / 书籍」这一层；QUALS 的做法是先把样本按学习到的模式分箱，再看每个箱的收敛速度决定曝光量。文本侧对应的工作量主要在分箱表征上——需要能反映语义与结构模式的编码器，以及一套能在线更新的权重机制。另一处提醒是泄漏：论文明确把语料收窄到 239B 并坚持无泄漏评测，结果仍优于体量更大、带记忆优势的对照，说明「语料更大」与「评测更好」之间的等号需要重新校准。

相关链接：https://arxiv.org/abs/2609.20156

跨语言知识不共享，根因落在 token 空间而非数据量

事件概述：多语言模型的跨语言知识迁移长期偏弱，成因一直没被隔离清楚。这篇工作用受控双语预训练把变量压到只剩一个：token 空间。

技术细节：作者预训练 360M 与 7B 两档模型，构造「同一语言的两份拷贝」——文本完全相同、切分完全相同，只是映射到互不相交的 token 空间。仅这一项就足以诱发知识隔离。他们用 CL_eq 度量跨语言知识泛化：英文—阿拉伯文在 360M 档的基线为 0.9%，把阿拉伯文逐词映射到英文 token 空间（WWT-Ar）后升到 12.6%，是基线的 14 倍；7B 档从 5.9% 升到 12.5%；英文—俄文从 1.9% 升到 23.3%。三个对照把结论钉得更死：打乱词典的 WWT 只到 3.0%（俄文 3.6%），纯转写到 -0.3%，把 token id 置换掉则回到 -2.6%，与完全不相交的情形一致。共享 token 目录本身不带来迁移，共享的是「同一枚 token 在两个语言里指向同一含义」。英文困惑度也随之从 19.53 改善到 18.74。代价同样被摆上台面：WWT-Ar 编码同等文本需要多约 30% 的 token，固定预算下等于少看约 23% 的阿拉伯语文档，作者没有去补这个缺口。

对大模型数据工作的影响：这条结论直接指向多语语料的处理顺序。为了让低资源语言「看起来够」，团队习惯单独扩词表或给它更大的采样权重；按这里的证据，只要两语的 token 空间不相交，堆量换不来知识层面的共享，最多换来语言内部的流畅度。可操作的替代是把翻译对齐做在数据侧——用词典做逐词映射，让两语落进同一 token 空间。需要提前算的账是 fertility：多出的 30% token 会吃掉上下文窗口与训练预算，等于用token 效率换知识迁移，这个交换比要按语言对和预算单独核。

相关链接：https://arxiv.org/abs/2609.19291

Croissant 补上「可执行」那一半：五个算子的完整判定过程

事件概述：Croissant 已是主流数据集枢纽通用的机器可读描述符。1.1 版（2026 年 1 月）增加了治理段，推荐用 DUO 与 ODRL 表达使用条件，但标准没有规定这些条件如何判定。这篇工作补的是判定语义。

技术细节：作者给出一个可叠加的 profile，让数据集声明它接受哪些操作、在什么条件下接受，算子集合封闭为五个：min、max、in、equals、present。每个算子都被写成从观测值到裁决的全函数，类型不符时按条件违反拒绝而不是强制转换，缺失观测记为 ⊥。实证分两路且证据分开：一路是三个曾经挡在真实 nf-core 流水线前的描述符，profile 文档的裁决与门控原生描述符逐条记录一致，剥离这一层后剩下的仍是 MLCommons 校验器能加载的合法 Croissant 文档，冷启开销 11.7 微秒（热路径 0 微秒），而决策本身耗时 119 微秒；论文自己指出，真正的大头是每次决策要起的那个子进程，开销是决策的两百倍以上。另一路是依 profile 语法生成的覆盖性语料，每个表示 184 个请求、共 552 条完整决策记录，在原生描述符、cpol: 项与 ODRL 三种写法下三向一致；结果构成为 20 条许可、83 条条件违反、44 条未声明动作、37 条状态拒绝，不是一堆平凡用例。13 个缺陷用例全部拒绝所有请求，其中 8 个被 SHACL 形状捕获，另 5 个对 SHACL 不可见。一个附带发现值得留意：调用方绑定的策略与数据绑定的策略，其许可集互不包含，只看其中一侧会放进另一侧本该拒绝的请求。

对大模型数据工作的影响：数据集的「可用范围」如果只写在人类可读的许可证里，自动化流水线就只能靠人工兜底。把条件写成可判定的算子之后，摄取前的前置检查可以变成一次描述符查询——论文给出的量级是微秒级，相对单次决策 119 微秒也仍是小头。对做数据治理的团队，短期内可行的动作有两件：新建数据集时把使用条件写成机器可判定的形式而不是一段自然语言；摄取侧把「未声明动作」单独归为一类拒绝原因，因为它与「条件不满足」的处置方式不同。需要注意的限制是论文里的调用方那一侧是设计而非实测，换成真实控制面后的行为还没有数据。

停用词删除：一个从未对着下游目标验证过的清洗默认

事件概述：法律文本实证研究的 TF-IDF + 线性分类器管线，继承了上世纪中叶信息检索的一整套预处理默认，停用词删除是其中最难撼动的一项。作者用穷举式单词消融，把这一步直接对着分类精度测量。

技术细节：数据把 Supreme Court Database 的标签对齐到 Caselaw Access Project 的裁判文书文本，选了两个 F1 上限拉开档次的任务：意识形态方向（不删停用词的基线 F1 约 0.68，7,668 份意见）与合宪/非合宪法域类型（基线约 0.92，7,001 份意见）。对每个任务，作者近似枚举「专家能造出的最好停用词表」——逐个剔除约 18,500 个候选词并直接测下游效果。三条结论：市面上通用的停用词表在每一项测试里都低于「一个词也不删」的基线；即便经过优化的词表，与什么都不删在统计上也不可区分；用词级特征训练的元模型无法预测哪些删除会起正面作用，也就是说词表优化没有可瞄准的目标。

对大模型数据工作的影响：值得搬走的是方法而不是结论本身。清洗流水线里的每一步——去停用词、长度过滤、去重阈值、语言识别置信度——大多是从前辈脚本继承来的默认值，很少有人逐个拿掉、对着下游指标重测一遍。穷举消融的成本在词表规模上线性增长，对 18,500 个词尚可执行；换成阈值类参数，更现实的做法是做一维扫描并报告敏感度，而不是沿用「大家都这么设」的数值。结论的适用范围要如实划清：这是在 TF-IDF 加线性分类器、且文本特征本身就是研究对象的设定下取得的，不能直接外推到神经网络语言模型的预训练去噪；它证明的是「在可解释管线上，删词会静默改变模型看得到的特征集」，而非「任何场景都不该删」。

相关链接：https://arxiv.org/abs/2609.19153

PDC：从视频建说话人归属语料，先把「谁在说」钉死

事件概述：Public Discourse Corpus 是首个对公众人物访谈语音同时标注情感效价与认知情态的数据集，规模为 998 个视频、100 位说话人、覆盖七个职业领域，切句过滤后得到 186,642 句、310 万词。

技术细节：语料构建里最容易漏的一环是「内容讲某人」与「某人自己在说」的混淆。作者为此设计了 Target Speaker Participation（TSP）五类标注法，并公布了标注者间一致性：五分类的 Cohen’s κ 为 0.616（观察一致率 70.2%），二分类包含决策的 κ 为 0.690（85.1%）。在 188 个视频的样本上共有 56 处分歧，其中 20 处来自「目标说话人是否出现」的判断，10 处落在 TSP-2 与 TSP-3 的边界、9 处落在 TSP-3 与 TSP-4 的边界，而最影响语料质量的 TSP-1 边界只占 3 处。目标说话人轮次通过「音频优先」的分离流水线切出：本地 Whisper 做 ASR，pyannote 做说话人分离，与 AssemblyAI 交叉验证得 Jaccard 0.706、词重叠 84.1%（212 个文件）。主标注由 DeepSeek-V4-Flash 完成，另取 1% 分层样本换 GPT-5.5 做跨供应商验证：整体效价 κ 为 0.63、情态 κ 为 0.53（N=1,863），分领域看 Academia/Economics 的情态 κ 最低，为 0.46。数据只发布清洗后的转写文本与标注，不重分发音视频。

对大模型数据工作的影响：从视频、播客、会议录像里抽训练语料时，说话人归属通常是靠文本启发式做的，错误会以「把采访者的话算到受访者头上」的形式静默进入训练集。TSP 这套协议给出的是可复用的前置关卡：先按固定类别判定目标说话人是否真的在说，再决定这条要不要收。音频优先的分离路线成本在本地 GPU 上可控，不必依赖按文件计费的 API。跨供应商 κ 落在 0.46 到 0.67 这个区间，提醒我们 LLM 标注的一致性上限本身就不高，把单一供应商的标注当作真值去训练或过滤，等于把该供应商的决策边界一起写进了数据；可行的做法是按分歧类型分层抽样、保留人工真值子集，用以界定标签不确定性。