数据论文速递 · 2026年10月15日

本期五篇论文落在数据流水线的五个不同位置：唯一数据不够用怎么办、语料能不能低成本查、语料的内部结构决定模型能归纳多远、过滤器到底在改什么、合成数据靠什么继续涨。它们的共同靶子是同一个默认假设——数据的价值由体积决定。

重复数据预训练：小 batch 反而更优，GPU 与时间要分开算

论文信息：Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs（arXiv:2610.15965，https://arxiv.org/abs/2610.15965）

核心问题：算力充裕而唯一训练数据有限时，同一批数据要反复训很多遍，这一场景下的训练配方和资源分配该怎么定。此前的研究把 batch size、epoch 数、正则化这些旋钮拆开单独调，且默认单遍训练。

关键发现：把 batch size 与 epoch 数放在一起优化，验证损失与 batch size 呈 U 型关系，最优点偏向比常规预训练更小的 batch，成因是小 batch 的梯度噪声自带隐式正则。原本在单遍假设下调好的配方也重新有了调整空间：每个 epoch 把文档重新打包成新序列、权重绑定、给 embedding 权重加正的 weight decay。放开「算力无限」这个假设后，作者把 GPU 与时间当成两种独立资源来算——截止期紧就偏向更大的 batch，用延迟导向的并行换更短的训练时间；可即便在固定时间预算下，小 batch 配少量 GPU 拿到的验证损失仍低于大 batch 配更多 GPU。

实践启示：数据见底之后，加 epoch 不是唯一动作。重新打包文档、weight tying、正的 embedding weight decay 这些在单遍时代被忽略的旋钮会重新生效。资源分配上，「为赶截止期一味加大数据并行以提高 GPU 利用率」这条经验在重复数据场景下不成立。

Cascade：238B token 精确后缀数组，不需要任何结构常驻

论文信息：Cascade: GPU-Accelerated Out-of-Core Suffix Array Construction for LLM Corpora（arXiv:2610.15254，https://arxiv.org/abs/2610.15254）

核心问题：后缀数组是去重、污染检测、n-gram 统计、训练数据归因这几件事的共同地基，每换一个语料或一个分词器就得重建一次。GPU 构造速度快但受显存容量封顶，out-of-core 流水线能扩规模却退回 CPU 速度，只能靠分片索引勉强堆到万亿 token。

关键发现：瓶颈不在数据多大，而在有多少东西必须常驻；分区构造里必须常驻的是分区之间的耦合。Cascade 用从语料里采样的 Splitter K-gram 在任何排序开始前就划定每个分区在最终后缀数组中的范围，GPU 各分区独立排序、独立定秩，永不合并。秩只发给真正需要它的那一个分区，配合「秩只在单个分区内比较」这条不变量，全局 rank 数组（逆后缀数组）就不需要存在了。文本和一张紧凑的分区图留在主机内存里，其余结构全部变成可以跨显存、内存、磁盘放置的流。单 GPU 节点上建到 238B token 的精确后缀数组，比 infini-gram 的流水线快 2.4 到 6.8 倍，比 libsais 快 5.9 到 10.9 倍。

实践启示：去重与污染检测的成本门槛降下来之后，每次改分词器、每次换语料都完整重跑一遍变得现实，不必再按成本做妥协。按「常驻量」而不是「数据量」来设计语料工具，是这条 work 给数据基础设施的直接提醒。

Latent Taxonomies：固定数据预算下，模型越大归纳越弱

论文信息：Latent Taxonomies: How Property Induction Develops in Language Model Pre-training（arXiv:2610.15836，https://arxiv.org/abs/2610.15836）

核心问题：只做下一 token 预测的模型能不能长出类别化属性归纳——人听说知更鸟有籽骨后，更倾向于把这条属性推给麻雀而不是鲸鱼。

关键发现：作者构造了一棵按共享属性分层的合成实体分类树，把其中的事实注入 Pythia 与 OLMo 2（70M 到 7B）的持续预训练，再追踪归纳行为的发育。分类对齐的归纳从纯下一 token 预测里长了出来：为某个实体学到的属性，在同类内部的迁移强于跨类迁移。内部表征上，共享更深层类别的实体在激活空间里靠得更近，聚类能从实体表示还原出整棵分类树。与「规模越大越好」的通常预期相反，数据预算固定时归纳强度随模型变大而减弱，作者给出的解释是更大的模型在记忆单条事实，而不是把它们压成共享结构。归纳强度还随注入前预训练量上升、能迁移到上下文里的新属性，也可以被 prompt 里隐含的另一棵分类树覆盖。

实践启示：模型的归纳泛化范围是训练数据潜在组织的投影。想让一条事实传播得更宽，堆模型规模无用，得在数据侧把它放进同类结构里；反之，若语料把同类事实打散，规模只会帮模型把每一条单独记住。

CGSD：过滤器的收益，要分清是在选样本还是在挪分布

论文信息：Counterfactual Gate-Support Decomposition: Separating Selection from Redistribution in Training-Data Filtering（arXiv:2610.19343，https://arxiv.org/abs/2610.19343）

核心问题：一个训练数据质量门控改的是两件事——输入空间各区域里哪些样本留下来，以及训练量在这些区域之间怎么分布。拿「用门控」对比「随机采样」，看不出收益来自哪一件。

关键发现：CGSD 是一个四臂、预算匹配的设计，把门控资格与支持分布交叉起来，把观测到的门控效应分解成支持内选择、支持间再分配、以及两者的交互三部分。在韩英与韩日检索上，只有支持内选择这一项的均值超出校准后的零带（+29.7 与 +5.6 个 holdout 条目，30/30 次正复制），韩英上 decisive、韩日上 marginal；再分配与交互在现有检验力下无法判定。换成另一族门控——模型置信度阈值而非确定性验证器——结果同样成立（+27.3 条，9/9 正），说明这不是某一个门控机制的特性。数学门控上出现了另一种情况：零资格支持让常规设计在每个预算下都无定义，扩展设计只在很窄的预算带里可构造，而自然操作点落在带外。

实践启示：评估一个过滤器时先问清「它是在选样本，还是在挪训练量的分布」。两件事混在一起，支持间再分配带来的收益会被记到门控头上，样本级质量被系统性高估。CGSD 的产出有三种——分解结果、可构造但检验力不足的设计、明确的不可构造结论——并且会说明给出的是哪一种。

SYNTRA：合成数据的瓶颈在指令，不在生成量

论文信息：Self-improving data synthesis can scale embedding models across domains and tasks（arXiv:2610.14730，https://arxiv.org/abs/2610.14730）

核心问题：把 embedding 模型适配到新任务，需要能反映该任务信息需求与相关性判据的训练数据；人工设计这类数据贵，也难规模化。

关键发现：SYNTRA 的自改进循环用试探性输出的反馈反复精炼可复用的合成指令，输入只要一个无标注语料加少量相关查询-文档对。24 个覆盖 15 个域的检索数据集上，合成数据有效，且能继续提升那些本身已有标注训练集的强 embedding 模型。自改进在六个评测任务上全部带来提升，其中四个超过人工校准。MS MARCO 上把训练数据扩到初始规模的 32 倍，检索表现仍在继续涨。

实践启示：合成数据规模化的卡点不是生成器能吐多少条，而是合成指令本身够不够贴合任务。给合成器装上「看输出、收反馈、改指令」的回路之后，规模效应才起得来——32 倍还在涨这件事，靠的是指令在迭代，不是样本在堆。

小结

五篇指向同一条结论：数据的价值不由体积决定。重复数据场景里小 batch 优于大 batch；238B token 的精确索引让去重与污染检测不必再按成本妥协；一条事实能传多远取决于语料里的分类结构而非模型规模；过滤器的收益要拆成选择与再分配两笔账；合成数据涨到 32 倍靠的是指令在迭代。把「数据更多」换成「数据处在训练的哪个位置」，是这五篇共同的方法论。