数据论文速递 · 2026年09月30日

本期五篇都落在预训练语料这一层：合成语料能不能单独撑起一次完整训练、网页清洗栈能不能交给一个小模型接管、投毒损害随投毒率怎么涨、数据选择该按什么信号做、换数据流与换优化器到底谁在改变模型。

一、SYNTH：把预训练、中期训练、后训练压成一个阶段的合成语料

论文信息：It’s All Training: A Fully Synthetic Single-Stage Recipe for LLMs（arXiv:2609.37891，2026-09-29，10 位作者）— https://arxiv.org/abs/2609.37891

核心问题：现有预训练语料来自网页爬取，本身缺少显式推理内容，没法直接支撑中训练与后训练。前沿实验室各自做内部合成数据来补，这批数据都不公开，合成语料对知识习得与技能习得的作用缺少公开度量。

关键发现：SYNTH 从 58,698 篇维基百科文章出发，用结构化放大把百科种子扩写，把预训练、中期训练、后训练三个阶段合并成单一训练阶段，是首个开源的这类合成语料。团队训了三组模型：56M 的 Monad、0.3B–0.6B 的 Baguettotron 稠密模型、13B/1B 激活的 MoE。在等算力条件下，SYNTH 的表现压过过滤后的网页数据，与同规模开源权重模型处于同一水平。语料由有出处的段落回译生成，训练 token 数少 10–140 倍，事实精度仍维持在较高位置，记忆行为则由种子语料定向控制。

实践启示：令牌预算紧张时，「先爬后过滤」不是唯一路径。种子可控的合成语料能用少一到两个数量级的 token 换到可比的效果，适合快速迭代与领域专用模型。代价在于记忆范围被种子圈定——做通用模型之前，先确认种子覆盖面够不够。

二、Lev：用杠杆分数做可扩展的预训练数据多样化选择

论文信息：Towards Scalable Data Diversification for Language Model Pretraining via Leverage Score Sampling（arXiv:2609.32484，2026-09-26，5 位作者）— https://arxiv.org/abs/2609.32484

核心问题：数据选择在质量与多样性之间存在张力。质量过滤偏向与参考语料（教育类、问答类）相似的文本，会把代表性不足的领域排掉，引发多样性塌缩。已有的多样化方法要么只优化覆盖类目标，要么直接靠反复重算协方差矩阵来优化多样性，规模上不去。

关键发现：Lev 迭代挑选能把嵌入数据的行列式体积撑得最大的样本，判据用杠杆分数，省掉矩阵重算。相比强基线 DiSF，速度最高快 72 倍，Vendi 多样性分数高 9.2%。在 CommonCrawl 网页选择上，七个下游任务的准确率最多提升 1.31%；在 StarCoderData 上，选出的子集 bits-per-byte 比 DiSF 低 3.08%。论文还报了一个跨域塌缩现象：经 DCLM-fastText 过滤的 CommonCrawl 留不住足够的代码内容，代码任务表现随之变差。

实践启示：质量过滤器的参考分布就是它的盲区。为一个领域定下的优质标准，套到别的领域会把那个领域的内容洗掉。代码这类难写规则的领域，用无监督的多样性判据兜底更稳。

三、预训练数据投毒的可解标度律

论文信息：A Solvable Theory of Pre-training Data Poisoning: Regime-Dependent Scaling Exponents（arXiv:2609.32288，2026-09-26，3 位作者）— https://arxiv.org/abs/2609.32288

核心问题：投毒研究多聚焦定向后门，以及后门能否在安全后训练中存活。更基础的问题少有人回答：干净数据上的性能随投毒率增长会退化成什么样。

关键发现：在 OLMo 风格的受控预训练里（架构、token 预算、优化调度全部对齐），投毒模型相对干净模型的验证困惑度增幅 Δ 与投毒率 ε 之间拟合成幂律 Δ≈C·ε^a，指数 a 是非整数。论文先证明一个解析性障碍：只要被污染的目标函数在干净最优解附近对 ε 解析，Δ 就泛型地为 ε 的二次项，非整数指数于是成为「结构本身奇异」的签名。随后在可解的重尾截断岭回归里补上这种结构，得到指数取决于取极限的顺序——高维比例区间是 ε^{q*/(q*+2)}，先取数据充足极限则得 ε^{2−2/q*}，两个极限不可交换。有限训练时间在局部预训练中扮演曲率谱截断的角色。

实践启示：投毒损害不是线性可外推的。用小投毒率测出退化幅度，再按比例乘到高投毒率，得到的量级会是错的。评估清洗收益时，把投毒率当作区间依赖的指数处理，别当线性系数。

四、损失引导的时序基础模型预训练数据选择

论文信息：Loss-Guided Pretraining Data Selection for Time-Series Foundation Models（arXiv:2609.37255，2026-09-29，3 位作者）— https://arxiv.org/abs/2609.37255

核心问题：时序基础模型在含数十亿观测的异构语料上预训练，训练窗口却通常随机采样，没人先估一下这个窗口到底带不带学习信号。

关键发现：方法用一个参考预测器给每个窗口打分，在每个源数据集内部保留分数居中的一段区间。论文把预测损失与优化难度连起来，证明在局部雅可比条件下，归一化的平方损失控制着逐样本梯度范数。按数据集分层选择保住了样本多样性。跨多种 TSFM 架构，该方法以绝对优势压过随机选择；保留更少的预训练窗口时，相对 MASE 与 CRPS 仍优于全量数据预训练。分数在不同规模、不同架构之间的相关性很强，说明小参考模型能给大目标模型选数据，前提是两者的难度排序相容。

实践启示：中间难度比最难、最简单都好用——太难的窗口带来噪声梯度，太简单的窗口没有信号。用小代理模型给大模型筛数据是条可行路线，先要验一次两者的难度排序是否一致，排序不一致时代理失效。

五、相对泛化不变性：换优化器与换数据流不是一回事

论文信息：Relative Generalization Invariance of LLM Pretraining（arXiv:2609.33016，2026-09-26，10 位作者）— https://arxiv.org/abs/2609.33016

核心问题：预训练表现由优化器、架构、训练数据流三者共同决定，三者各自的贡献缺分离手段。

关键发现：论文提出相对泛化不变性（RGI），指任意两个 token 之间的验证损失差在跨模型时保持稳定。RGI 在多种优化器与中等幅度的架构改动下近似成立，说明这两类选择带来的是 token 级损失的近似统一平移。换掉训练数据流则明显改变相对泛化。RGI 无法单由神经切线核或平均场机制解释，论文在过参数化二次模型里证明了它可以涌现。

实践启示：优化器与架构的改动在损失曲线上表现为整体平移，token 排序不变；数据流的改动会重排 token 级损失。做消融时，把算力押在数据流上的边际收益高于继续调优化器。这还给出一个便宜的比较手段：用相对损失差来比对数据版本，比绝对损失更抗优化器差异的干扰。

小结

五篇指向同一件事：语料侧的决策比训练侧的调参更能改变模型。SYNTH 与 Lev 分别在造什么数据与挑什么数据两端给出可复现的做法，投毒标度律与相对泛化不变性给出量化这两类决策收益的办法，损失引导选择则把用小模型给大模型筛数据这条路往前推了一步。