数据工程观察 · 2026年09月10日

引言

9 月 9 日 arXiv cs.CL / cs.LG 的新批次里，数据侧的几条工作指向同一个老问题的新解法：同一批原始素材，换一下处理顺序或者换一套配方，最后落到训练集上的东西能差出多少。

Fine PT-PT Web 给出的数字是 19.04%——把短行清理和重复行清理挪到启发式过滤之前，最终保留文档数多了近两成。VidaForge 把视频预训练的整条流水线拆成五个可替换阶段，配 314 万条带标注片段一并开源，研究者改动任一决策点就能重跑出一份新数据集。Climate-ModernBERT 用九个气候领域基准量出了语料来源与合并方式各自的贡献。后两条落在后训练数据的生产与代价上：ToolLoop 用反向推导替代生成后过滤，11K 样本训出的 4B 模型在 BFCL 上拿到 86.40%；MoE 稀疏度那篇把超参选择写成了可外推的幂律，代价是 1800 次预训练、约 20 万亿 token。

Fine PT-PT Web：410 亿 token 欧洲葡萄牙语网页语料，后处理前置换来 19.04% 增产

事件概述

NOVA LINCS 联合葡萄牙几家机构提交了 Fine PT-PT Web，一份 410 亿 token 的欧洲葡萄牙语（PT-PT）网页语料，已被 EMNLP 2026 主会接收。原料是葡萄牙网络档案 Arquivo.pt 的 411 TB WARC 存档，时间跨度从 1997 年到 2024 年。

技术细节

流水线从约 54 亿条 WARC 原始记录出发：URL 过滤剔除巴西葡萄牙语与 NSFW 域名后剩 34 亿，文本抽取后 17 亿，启发式过滤后 7.31 亿，单集合 MinHash 去重后骤降到 1.48 亿（较上一步减约 80%），质量分类之后再走一轮跨集合去重，得到 2460 万篇文档、410 亿 token。跨集合这一步单独把 token 数从 1760 亿压到 410 亿，压缩 76.6%。

关键改动是一个放在抓取之后、过滤之前的 post-scraping 块：先删少于 10 个字符的短行，再删文档内重复行。在 FAWP21 这个单集合上对照，不做后处理保留 919 万篇，只删短行是 992 万（+7.94%），两步都做是 1094 万（+19.04%）。走到 Gopher Quality 阶段的存活率从 47.2% 升到 56.7%。作者也试过把 EuroFilter 质量分类器前移、让高分文档豁免启发式过滤，只多留 0.4%，收益可忽略。

方言污染用两个变体分类器交叉估计：duarteocarmo/fasttext-euptvid 判定 86.4% 为 PT-PT，bastao/PeroVaz_PT-BR_Classifier 判定 82.9%，取均值是 84.65% PT-PT 对 15.35% PT-BR。

对大模型数据工作的影响

两处做法可以直接搬进自己的流水线。一是顺序：把样板清理与去重提前到启发式过滤之前，救回的是那些被模板文本连累、遭启发式规则误杀的页面，比事后反复调阈值划算。二是跨集合去重一口气吃掉 76.6% 的 token，说明多来源合并时「各源各自去重一遍」远远不够，跨源重叠必须在全局层面处理。15.35% 的方言残留提醒我们，域名和 TLD 挡不住变体混杂，变体分类器应该成为语料验收的常规项而不是抽查项。

相关链接

• 论文：https://arxiv.org/abs/2609.07699

VidaForge：视频预训练数据配方做成可执行五阶段工作流，配 314 万片段开源

事件概述

GAIR-NLP 放出 VidaForge，一套把视频预训练数据配方表达为可执行工作流的开源基础设施，随论文一并发布 VidaForge-3M——3,141,246 条场景级片段，合计 6475.1 小时。论文在 Hugging Face Papers 当日热榜上拿到了 91 个赞。

技术细节

五个阶段依次是 Ingestion（探测、初筛、标准化源视频）、Segmentation（场景边界检测并切成短片段）、Selection（抽取上下文、测量质量、识别重复，并把选择决策表达出来而不删行）、Annotation（用视觉语言模型生成镜头标签、多级字幕与语义标签）、Packaging（按具体训练栈导出，覆盖 NeMo-AutoModel/Wan 与 V-JEPA2）。

源数据取自 LLaVA-OneVision-2-Data 视频部分的约 80 万条视频，标准化到 H.265/MP4、25 fps 后切成 314 万片段。每条片段带四级英文字幕、结构化镜头标签、语义标签、媒体属性、光学与运动及美学与可见文字等多维质量测量，以及 PDQ 哈希近重复组和 Cosmos-Embed 语义重复组两套去重元数据。公开版本刻意不做最终筛选，不按 screen_pass 或 select_pass 过滤，决策字段也不放进去，把客观测量和重复分组交给使用者自己定义配方。

数据分布上，Domain 以 real_world 占 94.22% 为主，screen_recording 1.72%；Scene 里 food 29.84%、general_indoor 18.78%；Style 中 documentary 75.29%。实验部分比较了不同覆盖面与质量阈值的配方在 Wan 2.1 和 V-JEPA 2.1 从零预训练早期的表现：两种学习目标下都是覆盖面更广的配方下游基准最高，而基于 loss 的评估偏好的却不是同一批配方。

对大模型数据工作的影响

最有价值的不是那 314 万条片段，而是「配方即代码」这件事。视频预训练长期缺一个能对照的基线，各家 pipeline 闭源，同一条数据决策换个实验室就复现不出来。VidaForge 把决策点显式化成可替换的阶段，并把中间测量值而非最终判定发布出来，等于让别人能在同一份素材上做单变量对照。

另一个信号是论文里那句覆盖面更广的配方下游更好、loss 评估却选了别的配方。这直接说明用验证 loss 挑数据配方会挑错方向，数据筛选的验收指标必须绑下游任务，不能图省事看 loss。

相关链接

• 论文：https://arxiv.org/abs/2609.06652
• 数据集 VidaForge-3M：https://huggingface.co/datasets/VidaForge/VidaForge-3M
• 流水线代码：https://github.com/GAIR-NLP/VidaForge

Climate-ModernBERT：九个基准量出语料来源与合并方式各自的贡献

事件概述

arXiv 2609.07798 以气候领域为场景，系统比较了继续预训练的两条路：把多份语料混在一起联合训练，或者每份语料各训一个 checkpoint 再在参数空间合并。作者基于 ModernBERT-Base 做继续预训练，得到 Climate-ModernBERT 系列，并释出全部变体与训练 checkpoint。

技术细节

对照涉及三类语料：学术气候文本、气候过滤后的网页数据、合成气候文档。评估覆盖九个气候 NLP 基准，最佳模型平均 F_1 为 76.3，比原生 ModernBERT 基线高出 2.8 个点。

结论分两层。就语料来源看，学术气候语料提供的适配信号在三者中最强。就合并方式看，参数空间合并优于联合多源训练，且更好地保留了异质气候语料之间的互补信息。

对大模型数据工作的影响

这条把领域继续预训练里的配比问题转译成了一个更可操作的问题：什么时候合并。先分训再在参数层合并，比一开始就按某个比例在 token 层混匀更能保住各源的独特信息。对数据团队的含义是，多源语料不必急于在配比上做精细调参，保留源身份、把合并动作推到参数层是一条能验证的替代路径，而且成本更低——换个配比不用重跑整个 CPT。

合成气候文档被摆到和学术文本、网页数据平起平坐的位置做对照，也反映出合成数据在领域 CPT 里已经从补充变成实验设计中的常规变量。

相关链接

• 论文：https://arxiv.org/abs/2609.07798

ToolLoop：先定函数组合再倒推用户意图，11K 样本训出 86.40%

事件概述

EMNLP 2026 主会接收的 ToolLoop 针对工具调用数据合成提出一套闭合生成框架，把常见的生成再过滤改成生成—验证—修正。用 11K 条合成样本训练一个 4B 模型，在 Berkeley Function Calling Leaderboard 非推理模式下达到 86.40% 准确率。

技术细节

合成拆成三阶段递进推进：第一步采样函数名组合当作 ground truth；第二步从函数组合反向推导用户 query；第三步正向推导工具调用序列。每个阶段都挂上动态 self-feedback，由模型自己在阶段内迭代修正，把静态的事后校验换成过程内校验。

去污染方面，作者构造了 Isolate 变体，移除与 BFCL 重叠的候选函数，准确率仍有 86.07%，与 86.40% 只差 0.33 个点。跨基准泛化上，ACEBench 整体准确率 72.1%，而训练数据量只用到了基线的 18.3%。

对大模型数据工作的影响

反向构造是这类合成数据能压到 11K 规模还有效的原因。先固定答案（函数组合）再倒推用户意图，天然保证题目可解，也让难度和覆盖面变成可采样控制的变量，不必靠大量生成后筛掉不合格样本。

Isolate 变体几乎不掉点这个结果更值得留意。它说明收益主要不来自对评测集函数名的记忆，而合成数据发布时把去污染变体一并跑掉，正在从加分项变成默认动作——否则 86.40% 这类数字无法自证清白。18.3% 的数据量拿到跨基准可比的效果，也意味着工具调用这类能力的瓶颈在数据分布设计，不在条数。

相关链接

• 论文：https://arxiv.org/abs/2609.09072

MoE 稀疏度下的超参 scaling law：1800 次预训练、约 20 万亿 token

事件概述

arXiv 2609.08690 处理的是超参迁移问题：常规超参 scaling law 在极稀疏 MoE 上会失效，最优学习率与 batch size 随激活比漂移，且无法只用总参数量或激活参数量解释。作者用 1800 次预训练把这条关系重新标定了一遍。

技术细节

实验覆盖六个激活参数规模，最大到 60 亿总非嵌入参数，累计处理约 20 万亿 token，折合 20 万等效 H800 GPU 小时。

结论分为两个区间。固定稀疏度时，最优 batch size 与训练 token 数 D 成幂律关系，最优学习率随训练算力 C 变化，且对模型规模与数据之间的分配比例保持稳健。跨稀疏度时，激活比 A 作为额外的乘性幂律因子同时进入这两个关系。留出验证用了一个 120 亿总参数、仅激活 1/64 专家的极稀疏 MoE，预测超参与实测最优接近。作者另外验证了跨专家粒度的迁移，并把激活比效应与专家总数效应分离开。

对大模型数据工作的影响

对排训练计划的人来说，最实际的一条是最优 batch size 与训练 token 预算强绑定。换数据规模就得重定 batch，沿用上一次的配方等于默认接受一个次优解。

20 万亿 token 这个量级也给出了标定成本的下限——这类超参律的价格已经接近一次中等规模预训练。对大多数团队而言，直接复用公开发表的拟合形式，比自己扫一遍参数划算得多。

相关链接

• 论文：https://arxiv.org/abs/2609.08690