数据工程观察 · Vol.143

数据工程观察 · 2026年10月10日

本期五条围绕同一问题：一批数据凭什么进训练集——跨语言质量分从哪来、loss 信号该怎么读、语料缺陷如何记账、无标注视频能否直接用、选数据能否交给智能体。

2026年10月10日数据工程预训练数据数据质量过滤数据配比合成数据数据集发布数据去重中训练多模态数据数据选择 Scaling Laws arXiv

本期五条围绕同一个问题：一批数据凭什么被放进训练集。答案的来源各不相同——有的来自别的语言借来的分数，有的来自一条被反复引用的 loss 曲线，有的来自发布者自己交代的缺陷账本，有的来自一个还没被标注过的模态，还有一条直接追问这件事能不能交给模型自己做。

一、英语质量分类器搬到 100 多种语言，不必重训标注

事件概述

模型过滤是网页语料提纯的主力手段，可它的标注数据几乎都堆在高资源语言上。这篇工作不打算为每种语言各训一个分类器，而是把已有的英语质量分类器改造成多语版本，覆盖 100 多种语言。

技术细节

做法是在 Transformer encoder-only 模型（XLM-RoBERTa 或 mmBERT）的嵌入之上训练一个小型多层感知机，输入多语文本，监督信号是英语分类器打在机器翻译文本上的分数。评测侧训练 1B 参数模型、100B token，从零开始，语言覆盖英语加 Top 20，按分类器分数保留前 10% 文档。完整结果里，不做模型过滤的 FW+FW2 基线平均 0.3852，多语原生基线 FWHQ+FW2HQ 为 0.4094、FWHQ+FW2HQ+ 为 0.4121；只用英语训练出的 mFW-edu 已经到 0.4078，英语加 Top 5 语言 0.4120，加 Top 40 为 0.4121，扩到全量语言配 mmBERT 为 0.4141，mDCLM 配 XLM-R 为 0.4145。单项上 ARC 的落差最大，FW+FW2 的 0.3880 对 mFW-edu（仅英语）的 0.4766。论文自己给的读法是：分类器与嵌入模型的选型只带来小幅波动，真正起作用的是「有没有做模型过滤」这一步。

对大模型数据工作的影响

低资源语言不必等人工标注齐了再开始提纯，先借英语侧的判据上路是可行的。要留意两条边界：分布外语言的分数取值会发生偏移，阈值不能照搬；训练语言数从 5 扩到 10 收益不明显，要到全量语言才略有增益，说明中间那一步的边际回报很平。

二、loss 在降不等于该多采样，三个信号被混成一件事

事件概述

合成任务既被当成能力探针，也被当成预训练数据，两种用途常常共用同一条证据：某个任务的 loss 在训练中下降，就说它有信息量；采样越多降得越快，就说它值得多采。这篇论文把这套推理拆成三个各自独立的信号。

技术细节

三个信号分别是：diagnostic（任务 loss 跟随全局预训练进度）、teachable（任务 loss 对自身 token 预算有响应）、transfer（把它放进配比后下游目标变好）。实验用受控预训练，70% 语料固定为通用 Python，剩余 30% 在三源族构成的单纯形上分配——OpenCodeInstruct、12 个 curated 合成任务、15 个文献来源探针任务。任务预算扫描下，27 个任务里有 14 个检出 teachability，两个合成家族表现极不对称：curated 是 10/12，文献来源是 4/15。迁移侧的结论更直接：沿 curated–OpenCodeInstruct 这条边，HumanEval pass@20 从纯 curated 的 15.9 升到 18.9、20.7，在 75% OpenCodeInstruct 配 25% curated 处达到最高 22.6，再走到纯 OpenCodeInstruct 反而落到 19.5；纯 curated 端比 16.5% 的零合成基线还低 0.6 个点，bootstrap 对 164 道题重采样 50000 次并在每次重复内重做选优。更值得警惕的是自适应调度：三条 60k 步的 free-ratio 运行中，基于 loss 的调度器在头 5k 步内就把 OpenCodeInstruct 份额压到 5% 以下，终局停在 1.2–1.4%，比配对的固定配比对照低 2.4–11.0 个百分点。

对大模型数据工作的影响

用「loss 还能降多少」驱动配比调度，会把配比推离真正产生迁移的区域。合成数据的价值是有条件的：作为被目标对齐来源主导的配比里的少数派才成立，单独堆满就露出原形。

三、Wieszcz-XIX 发布 31 亿词波兰语历史语料，连缺陷一起交付

事件概述

1800–1918 年的波兰语此前只有约百万词量级的可机读标注，其余锁在质量不稳定的 OCR 后面。这份语料给出 6,745,956,943 个 token、约 31 亿词、294,369 篇文档，绝大部分是期刊，比同期已标注语料大三个数量级，并把语料自带的缺陷逐项量化。

技术细节

流水线负责过滤、去重、审计 1918 年后内容泄漏、按文档切分，冻结时对所有 298,102 篇抓取文档留了 SHA-256 清单，后续每一步都产出带参数、输入引用、脚本哈希与时间戳的报告。OCR 腐败的审计用了对照组：四条廉价字符启发式（词内噪声符号、字母焊数字、小写后接词内大写、四字母以上无元音）跑过全部文档，Internet Archive（OCR 来源）31.1 亿词命中 5690 万（1.83%），Wolne Lektury（干净转录来源）2340 万词命中 6.01 万（0.26%），两者相减得出真实 OCR 腐败 1.57%；按类型拆为符号 1.32%、词内大写 0.35%、数字入词 0.18%、无元音 0.03%，逐文档中位 1.59%、90 分位 3.30%、最差 20.89%。人工抽样 20 段约 400 字符，可校的那 11 段 CER 为 0.68%、WER 为 4.71%，剩下 9 段占样本 45%，损坏到根本无法校对——双栏逐行交错、邻文章片段串入。切分泄漏用了 containment 度量：留出文档 5 词 shingle 落在训练侧的比例，第一轮 2,944 篇中有 51 篇 containment 达到 0.9 以上（最差 0.998），都是同一期报纸挂在相邻馆藏标识符下、Jaccard 约 0.75 恰好卡在 0.8 去重阈值之下。达到 0.5 的文档退回训练侧重来，三轮迭代后最大 containment 走完 0.998 到 0.896 再到 0.495，共退回 180 篇，留出集定在 2,764 篇、56,363,707 token、占语料 0.84%。

对大模型数据工作的影响

值得抄的不是规模，是交付方式：逐文档腐败率、切分两侧的完整标识列表、冻结清单与每轮遥测都随数据发布。另一条经验是文档级随机切分在近重复面前并不够用，Jaccard 阈值去重会放过包含关系，得再补一层 containment 度量才拦得住。训练侧 47M 到 349M 的阶梯每级拿到 0.196 与 0.232 nats 增益，约为同一份文本再过一遍的两倍。

四、无字幕无文本损失的原始视频，也能当中训练数据

事件概述

多模态模型主要吃图文配对数据和带标注视频，原始网络视频很少被用来继续训练一个已经预训练好的语言模型。这篇工作问的是：没有字幕、连文本损失都不用的原始视频，能不能直接当中训练数据。

技术细节

帧被编码成连续视觉 token，语言模型只做下一视觉 token 预测。Qwen3-1.7B 在 YT-Temporal-1B 的原始片段上中训练一个 epoch，合计 64.4B 视觉 token，之后与未中训练的模型走完全相同的图文指令微调，两边只在中训练这一步上有差别。十个图像类基准平均从 48.72 升到 53.80，四个视频类基准平均从 49.67 升到 52.59。分项看，收益集中在文本密集型任务：ChartQA 43.76 到 51.96、DocVQA 32.13 到 38.57、TextVQA 45.49 到 51.05、AI2D 66.39 到 72.51、MMStar 41.60 到 45.93；视频侧 EgoSchema 45.20 到 50.00、NExT-QA 59.04 到 62.18。文本基准几乎不动：MMLU 61.16 到 60.75，ARC-Challenge 41.35 到 42.72，BoolQ 80.59 到 81.54。

对大模型数据工作的影响

图文配对之外，未被标注的视频流是一条可用的中训练数据来源，而且不需要为此准备字幕。收益分布说明它补的是文字识别与图表理解这类能力，文本侧既没被拉高也没被拖垮，把它当作定向补能力的预算项比当作通用语料扩张更合适。

五、DataSense-Bench：把选数据交给智能体，收益只有一到两个点

事件概述

递归自我改进的说法越来越多，这篇论文挑了个可证伪的切口：前沿模型到底有没有 data sense，能不能在不训练、不接触评测题的前提下，从一堆候选里挑出真正值得训练的那一批。

技术细节

CLI 智能体被允许检视数据、写并执行分析代码、跑模型前向，不能训练模型，也拿不到真实评测任务。它要交付一份 row-to-group 分配 CSV 和一份方法说明，把轨迹分成五组、每组 50 条，并给出排序；随后统一做 SFT 与评测来检验。轨迹池来自 OpenThoughts-Agent（终解题，评测 TBLite）与 EnvScaler（工具调用，评测 BFCL），基础模型 Qwen3-4B。BFCL 上基础模型 31.67%，最好的智能体第一组到 36.53（标准差 1.83），相对随机选择的增益 1.78 个点，GPT-6 Astra 为 36.49、增益 1.74。排序能力用 Spearman 与目标相关系数衡量，DeepSeek 0.65、Astra 0.83；A_best（智能体认出自己最好那组的比例）DeepSeek 只有 33.33%，Astra 在工具调用上是 100%。TBLite 侧最好的第一组为 12.50（标准差 2.05），相对随机增益 0.95，Spearman 最低只有 0.13。成本上，选一次数据的智能体开销从 DeepSeek 的 0.28–0.57 美元到 GPT-6 Astra 的 11.11 美元不等，而 TBLite 的训练与评测分别要 2.04 小时与约 3.93 小时。案例研究里 Fable 5.1 的第一组拿到 14.83% 奖励，第二组 11.08% 却低于第三组的 12.12%。

对大模型数据工作的影响

在「挑出最好的那一组」这件事上，智能体只比随机高一到两个点；排序更不稳，Astra 在工具调用的三次运行里全中，终解题三次只中一次。执行轨迹分析给出的解释是，各家智能体用的是相似的数据信号，对训练价值的解读却不一样。数据选择眼下还不是能整段外包的环节，把智能体放在「生成候选打分」而非「拍板定配比」的位置更稳妥。