数据论文速递 · 2026年10月16日

本期五篇论文落在数据流水线的五个不同环节：合成语料的事实粒度该怎么定、样本该按数据集级概念支持度还是按模型内部归因来打分、多语言语料的曝光量与曝光顺序怎么排、以及一条被社区引用已久的预训练算力倍数到底是怎么来的。它们的共同靶子是同一个默认假设——只要分数算得够细，样本级选择就能拿到好数据。

AFCS：把合成粒度压到原子事实，比按段落重写更值

论文信息：AFCS: Atomic-Fact-Conditioned Synthesis for Factual Knowledge Pretraining（arXiv:2610.20086，https://arxiv.org/abs/2610.20086）

核心问题：合成语料已经进入语言模型预训练，WRAP、Nemotron-CC 这类流水线的做法是拿一段源文本做改写或生成问答。这样做出来的语料在表层形式和提示多样性上更好，却没有任何机制保证源文档里的细粒度事实——次要实体、列表与表格条目、精确的时间属性——真的进了合成结果。知识注入的粒度问题一直没人正面量过。

关键发现：AFCS 先把源文档里站得住的原子事实抽出来，再用每条被保留下来的事实去驱动生成，四步分别是文档树上的结构化抽取、回到源文的验证、局部上下文扩展、多格式生成。在 OLMo-3-7B 与一个 32B base 上做持续预训练，两边共用 FineWiki 源语料，AFCS 在 SimpleQA、SimpleQA Verified、PopQA、HotpotQA 上均超过 WRAP 与 Nemotron-CC。粒度消融给出的排序很干净：事实级合成优于 chunk 级、段落级、实体级。把 100B token 放进 mid-training，事实类基准上涨，12 项通用基准的平均分也抬了 1.09。

实践启示：合成语料的收益不只看生成量，还要看生成条件挂在什么粒度上。段落级改写会把次要实体和精确时间属性整段抹掉，这些恰好是事实类评测要考的东西。做知识注入之前，先问一句「源文档里的每一条事实有没有独立的生成入口」。

Mind the Tail：选样本要看数据集级概念支持度

论文信息：Mind the Tail: Data Selection Through Sparse Concepts（arXiv:2610.21007，https://arxiv.org/abs/2610.21007）

核心问题：数据选择做的事情，是在视觉概念之间重新分配训练支持度——物体、属性、颜色、纹理、背景都算概念。分配策略不同，下游行为就不同，尤其是那些只有几个样本撑着的尾部概念：丢掉它们会伤测试时的鲁棒性，把落在类别边界上的样本权重压得太高又会引入不稳定的训练信号。

关键发现：作者用稀疏自编码器从单张图上抽概念激活，选择过程中累加已选样本在数据集层面给每个概念贡献的支持度。对这个分布施加边际收益递减，被充分表达的概念自动降权，注意力移到分布尾部；再叠加局部支持度，找出确实能补强欠表达概念的样本。细粒度分类、伪相关分类、通用图像分类、多模态预训练四类设置上，都稳定超过强数据选择基线。论文把「本方法增强了哪些概念」与「随之出现哪些行为变化」对起来，包括分布外与伪相关场景下的鲁棒性改善。

实践启示：样本级打分器默认各样本互不相干，尾部概念却是靠多个样本一起撑起来的。做选择时把「这个概念现在有多少支持」当状态量累加，比给每个样本单独打一个分更贴近数据的真实结构。

Support or Magnitude：指令数据选择看归因的分布式，不看量级

论文信息：Support or Magnitude? Characterizing Neuron Relevance for Instruction Data Selection（arXiv:2610.16531，https://arxiv.org/abs/2610.16531）

核心问题：用神经元激活、梯度这类模型内部信号做指令数据选择已经很常见，「相关性该怎么刻画」却一直没人系统比较过：该优先看相关性的量级，还是看它在神经元上的分布广度。

关键发现：作者用 AttnLRP 归因构造样本级相关性剖面，给出两个互补指标——ERS 量正相关的有效支持度，PRM 量其平均强度。两者共用同一套底层相关性剖面，排序与选择偏好明显不同：在 Qwen2 上 PRM 与基于激活的选择更接近，ERS 排出的序差别很大。差异延伸到任务构成、任务内样本偏好、语义选择模式，且在不同骨架上的一致程度不一。三个语言模型、五个下游基准的实验里，ERS 在被测方法中拿到最好的平均性能排名。

实践启示：归因信号不是拿来就能用。先定「量级」还是「分布」这个刻画方式，会直接改变选出来的数据长什么样。只调阈值不动刻画方式，等于在一条已经定死的偏好上做微调。

Language Exposure Matters：多语言配比里，均衡不等于最优

论文信息：Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training（arXiv:2610.20102，https://arxiv.org/abs/2610.20102）

核心问题：数据量受限的多语言预训练里，语言曝光该怎么跨英语、荷兰语、中文分配，这些曝光又以什么顺序喂进去。两条对照线：均衡曝光对语言主导曝光（某一种语言给更多数据），混合训练（全程混着喂）对课程训练（先单语喂主导语言、再均衡多语）。

关键发现：15 组匹配配置里，混合训练全部胜过课程学习，说明在本设定下多语言曝光并行喂进去比分段喂更有效。若干组语言主导的混合配置得分高于均衡配置，说明均衡分布在这个设定里并不是得分最高的那个配置。荷兰语主导的几组整体表现最好。

实践启示：多语言配比别把「均衡」当默认解，也别默认课程式先单语后多语。曝光量与曝光顺序是两个独立旋钮，在小数据预算下都值得单独扫一遍。

扩散语言模型的预训练算力差距：16 倍是怎么被高估的

论文信息：Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models（arXiv:2610.17590，https://arxiv.org/abs/2610.17590）

核心问题：扩散语言模型解码快，却被普遍认为训练效率远低于自回归模型——一篇被广泛引用的研究给出「达到同等似然需要约 16 倍训练算力」这个数，直接让从头预训练扩散语言模型看起来不划算。作者指出这个数背后的评测协议已经和当下的实践脱节：它用证据下界给模型打分，训练的是全序列 decoder-only 模型。

关键发现：换成模型自身解码顺序下的精确似然打分，倍率从 16 降到 12.8；再换成块扩散训练与 encoder-decoder 架构，块大小 32 时降到 7.8，块大小 8 时降到 4.6，块大小 4 时降到 3.0。标度律拟合覆盖十个模型变体、约 1700 个模型。作者还给出 encoder-decoder 块扩散最优解码器深度的经验规律、一个超出拟合范围的留出算力预算（差距在该处依然存在），以及似然改善能传导到下游准确率的基准结果。

实践启示：跨架构的效率倍数绑在评测协议上，打分方式、训练目标、块大小每一项都能把结论挪动一大截。引用这类数字之前，先对齐它当时用的是哪套协议；自己做架构选型时，把块大小当成标度律里的一个显式变量扫，别沿用别人的默认值。

小结

五篇合起来看，本期反的是同一个惯性：把「分数算得更细」当成数据工作的终点。AFCS 说粒度要压到事实；Mind the Tail 说打分对象要从单样本换成概念支持度；ERS 那篇说同一套归因换个刻画方式就能换一批数据；BabyLM 那篇说配比与顺序都还是活旋钮；16 倍那篇说连效率倍数本身都绑在协议上。数据侧真正要先交代清楚的，是这些前置选择。