数据论文速递 · 2026年10月09日

本期概览

这一期五篇都盯着同一件事：训练数据该怎么挑、怎么配、怎么洗。两篇落在预训练语料的选择与配比（多语言质量分类器迁移、受控混合到代码的迁移），一篇给出完整的历史语料构建与泄漏审计流程，一篇处理数据受限时的重复次数选择，最后一篇把策展流程拆成可编程阶段交给多智能体执行。它们不再问数据够不够，而是问哪一部分数据值得占掉 token 预算。

多语言质量分类器：把英文打分标准搬到 100 多种语言

论文信息：Adapting English Quality Classifiers for Multilingual LLM Pretraining Data Selection（arXiv:2610.11585，4 位作者）· https://arxiv.org/abs/2610.11585

核心问题：基于模型的质量过滤在高资源语言的网页语料上效果明确，低资源语言缺标注数据，无法照搬同一套分类器。

关键发现：作者在 Transformer encoder-only 的嵌入之上训练一个小型多层感知机，输入多语言原文，标签取自英文分类器对机器翻译文本的打分。1B、3B、8B 三档实验里，这条路线保住了现有多语言过滤基线的下游表现，区域与文化知识类基准未被拖累。跨语言泛化测试中，分类器给合成数据与网页样本的打分对比、以及它与 LLM 打分的相关性都显示，即便是训练数据里没覆盖的语言，它也能学到原版英文分类器的打分标准。

实践启示：低资源语种不必从零攒标注。用机器翻译把英文打分标准搬成本地语言的打分器，成本可控。打分标准本身也跟着搬了过去——英文语料的质量偏好会延续到别的语言，上线前单独抽查一遍。

合成代码任务的配比：条件价值与损失下降不是一回事

论文信息：Conditional Transfer from Controlled Pretraining Mixtures to Code（arXiv:2610.11548，1 位作者）· https://arxiv.org/abs/2610.11548

核心问题：合成任务常兼作能力探针与预训练数据，两种用途都用损失下降来论证价值。作者把三件事拆开：任务损失是否跟随全局预训练进度（诊断性）、损失是否响应自身 token 预算（可教性）、数据源加入后是否改善下游目标（迁移性）。

关键发现：受控设置下 70% 语料固定为通用 Python，余下 30% 在三族来源之间做单纯形配比：OpenCodeInstruct、12 个代码相关合成任务的精选集、15 个文献派生探针任务。27 个任务里检出 14 个具备可教性，两族合成任务差异悬殊——精选集 10/12，文献派生 4/15。可教性排序与迁移性排序不一致。在精选集与 OpenCodeInstruct 的混合边上，固定微调后 HumanEval pass@20 从纯精选数据的 15.9 升到 75% OpenCodeInstruct 处的 22.6，到纯 OpenCodeInstruct 时回落到 19.5。基于损失的自适应调度器 Ado 在三段 60k 步自由配比训练中，前 5k 步就把 OpenCodeInstruct 份额压到 5% 以下，训练末降到 1.2%–1.4%，比配平的固定混合对照组低 2.4–11.0 个百分点。

实践启示：精选合成任务只在混合物里占有限份额时才贡献价值，主导位仍要留给与目标对齐的来源。拿近期损失下降做自适应配比，会把混合推向不迁移的区域：配比决策盯下游指标，别盯训练损失。

历史波兰语语料：6.75B token、去重与 1918 年后泄漏审计

论文信息：Wieszcz-XIX: A 3.1-Billion-Word Corpus of Pre-1918 Polish and Temporally Bounded Language Models Trained From Scratch（arXiv:2610.10592，1 位作者）· https://arxiv.org/abs/2610.10592

核心问题：1800–1918 年的波兰语机读标注语料只有约百万词量级，其余压在质量不稳定的 OCR 之后。做时间有界模型还得把后见之明挡在训练之外。

关键发现：语料含 6.75B token（约 31 亿词）、294,369 篇文档，多数为期刊，来自 Wolne Lektury 与 Internet Archive，管线完成过滤、去重、1918 年后泄漏审计与文档级切分，规模比同期标注语料大三个数量级。缺陷被逐项量化：识别错误相对假阳性基线给出，近似重复被清除，1918 年后内容从训练语料中排除，残留降到字节数的 0.04%–0.38%，且残留落在转写源头而非语料本身，这让发布语料与训练语料做到逐篇对齐。人工校正样本上字符错误率 0.68%（可辨读部分），45% 的抽样段落无法校正。47M 到 349M 的 decoder-only 阶梯模型表现出时间有界性：349M 与 107M 各自在对照模型上出现交叉，后 1918 词汇比同期词汇多耗约 3.1 bits/byte，对照模型没有这一落差；加参数的收益约为多过一遍数据的两倍。

实践启示：泄漏审计要做到残留已知而假定为零，并把残留位置标清楚。有一条可直接引用的经验：在这套设定下扩参数的收益约为第二遍数据的两倍。论文附了内容警告——模型会复现那个年代的偏见，包括反犹表述。

数据受限预训练：最优重复次数会随模型规模改排名

论文信息：Selecting Repetition Counts Across Model Scales in Data-Constrained Pretraining（arXiv:2610.05126，2 位作者）· https://arxiv.org/abs/2610.05126

核心问题：小模型上最优的重复次数，放到更大尺度未必还最优。目标语料有限、按固定比例掺入通用数据时，重复次数该怎么定。

关键发现：Wikipedia 派生数据与 Proof-Pile-2 上，重复次数的实测排名随模型规模变化；520M 的 Proof-Pile-2 实验里，重复次数从十六降到八，损失改善且训练 token 更少。作者用若干小模型的损失曲线保留一份候选短名单，再到大尺度上评估。PubMed 与 Caselaw 上，在目标模型训练之前就固定下来的候选集，在 200M 与 520M 两档都留住了原始评估网格上损失最低的那个次数。作者把这一剪枝回归与含两个相互抵消的重复相关损失项的标度模型联系起来，在 log 模型规模处做一阶展开，得到选择规则的线性形式。

实践启示：与其精确预测最优重复次数，不如用小模型保留候选短名单、再在大模型上验证，成本更低且实测留住了最优解。重复次数属于随规模漂移的超参数，小模型搜出来的点不要直接搬到大模型。

策展流程拆成五个可编程阶段：CuratorMAS

论文信息：CuratorMAS: Automating Dataset Curation via Multi-Agent Orchestration（arXiv:2610.07075，2 位作者）· https://arxiv.org/abs/2610.07075

核心问题：数据集策展依赖人工启发式或依赖特定模型的信号，跨领域与跨用户查询的可迁移性差。

关键发现：框架把策展拆成五个可编程阶段并组成可并行的工作流：先做数据集探查，收集文件结构与约束线索；再联网检索领域知识补充评估依据；接着推导评估标准并计算指标；据此执行过滤；最后由进化模块汇总评估结果并更新技能。实验显示噪声率最多下降 36.03 个百分点，下游模型 F1 最多提升 8.88 个百分点。

实践启示：把策展从一条写死的过滤脚本改成「探查—检索—定标准—过滤—进化」的可编程链路，跨任务迁移时改动的是阶段参数而非整条管线。噪声率与下游 F1 两个数字要一起看：降噪不等于下游变好，论文把两者都报了出来。

小结

五篇落在同一条链的不同环节：先决定哪些数据进池（多语言质量分类器、CuratorMAS），再决定它们各占多少预算（合成代码任务配比、重复次数），最后把不该进的部分挡在门外并量化残留（历史波兰语语料的泄漏审计）。本期反复冒出的一个信号是，训练损失下降与下游迁移并不一致，拿它驱动配比或选择，会把数据推向错误的区域。