数据论文速递 · 2026年09月26日

本期五篇分别落在五个不同的点上：预训练语料的打包方式、蒸馏监督信号的 token 级取舍、评测集污染的绕开办法、多模态训练批次怎么组、以及语料统计特征如何决定事实习得。它们的共性不在方法，而在把「数据」当自变量来改——改的不是模型结构，也不是优化器。

一、打包训练里的远端前缀干扰：SPAR

论文信息：Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models（arXiv:2609.27925，https://arxiv.org/abs/2609.27925）

核心问题：语言模型会过度依赖不相干的远端上下文。一条样本的预测本已由局部上下文支撑，却仍会被同窗口里无关的前缀 token 扰动带偏。长文本、打包序列、干扰项密集的场景中，这类干扰尤其明显。

关键发现：作者提出 Selective Prefix Anti-Interference Regularization（SPAR）。同一条序列跑两遍，一遍是原始输入，另一遍只替换远端前缀，再用短上下文充分性门控配合门控 KL 目标，稳住那些局部已经能支撑的后缀预测。门控的判据是「远端前缀有没有给目标 token 提供额外信息」。机制分析显示，门控能挑出局部充分的 token，并显著降低这些 token 上的前缀敏感度。在等量训练算力下对 Qwen2.5-0.5B、Qwen2.5-3B、Llama-3.2-1B、Llama-3.1-8B、GPT2-XL 做继续训练，RULER 全部有提升；从零预训练的实验里，RULER 与 NoLiMa 两项一起改善。

实践启示：文档打包不是免费的拼接。把主题无关的内容塞进同一个上下文窗口，会凭空造出跨文档干扰。做语料编排时可以走两条路：一是同包文档按来源或主题聚合，从源头减少无关前缀；二是在训练目标上加这类抗干扰正则。评估侧也值得补一项「前缀扰动敏感度」，当成打包质量的体检指标。

二、蒸馏时只留十分之一的 token：S²D-OPD

论文信息：Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD（arXiv:2609.29142，https://arxiv.org/abs/2609.29142）

核心问题：Direct On-Policy Distillation（Direct-OPD）用 RL 前后两个 checkpoint 之间的 token 级 log-ratio 作稠密监督，把小模型上的 RL 收益迁给更大的学生模型。问题出在 log-ratio 只度量相对变化：当两个 checkpoint 赋给学生候选 token 的概率质量一起趋近于零时，log-ratio 可以纹丝不动。

关键发现：论文用一个精确构造证明，Direct-OPD 的奖励与更新可以完全不变，而两个 checkpoint 之间的 JSD 和两个方向的 KL 都随那份概率质量一同消失；并指出小 JSD 意味着教师的行为变化有限。据此提出的 S²D-OPD 按教师参考 JSD 给学生采样状态排序，在低 divergence 状态上屏蔽监督，每条响应只保留 JSD 最高的前 10% 状态。两组教师对、四个 1.7B 到 8B 的学生模型上，AIME 与 HMMT 留出准确率在八组设置中七组优于稠密 Direct-OPD、一组持平，且不增加前向次数。

实践启示：稠密监督里混着大量「教师其实没怎么变」的位置，这些位置贡献的梯度接近噪声。按教师侧的变化量筛一轮，只留下信息量最高的那十分之一，结果反而更强。这套做法可以平移到别的 token 级蒸馏与偏好数据管线：先算一个「教师相对参考的变化度」，再据此裁剪监督位置，别对所有位置一视同仁地加权。

三、用压缩率做抗污染评测：Uncheatable Eval

论文信息：Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models（arXiv:2609.27510，https://arxiv.org/abs/2609.27510）

核心问题：模型在海量语料上预训练，很难保证评测数据没进过训练集，评测结论随之失真。基座模型的指令跟随能力弱，用任务式基准去测又测不准。

关键发现：作者拿无损压缩率当评测指标——模型的预测能力越强，对新文本的无损压缩就做得越好。Uncheatable Eval 持续抓取新发布的文本构建动态基准，从源头压低污染风险。80 个模型、14 个文本类别上的实验给出三条结论：压缩表现随模型规模呈一致的标度趋势；注意力架构、混合架构与循环架构在上下文变长时，压缩表现的变化方式各不相同；压缩率越低，zero-shot MMLU 越高。

实践启示：用「刚发布的新文本加压缩率」给基座模型做体检，比固定榜单抗污染，也绕开了指令跟随这个前置条件。数据治理环节可以把压缩率当成语料新鲜度与去重效果的旁证：同一批语料在多个模型上压缩率都异常低，通常说明它早已进入预训练集，该批数据的评测价值要打折。

四、按同源聚批做全模态嵌入：Ovis-Embedding

论文信息：Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings（arXiv:2609.25165，https://arxiv.org/abs/2609.25165）

核心问题：全模态嵌入模型常靠拼接多个单模态塔实现，模态之间彼此割裂；训练数据怎么组织，过去也很少被当成设计变量来对待。

关键发现：Ovis-Embedding 改用共享多模态骨干（以 Qwen-omni 初始化、低秩适配做对比训练）替代拼塔。数据侧的两点最值得看：一是构建覆盖文本、图像、视频、音频与交错多模态的宽口径语料；二是提出 homogeneous-source sampling，按同源采样组织批次，让每个 batch 内部任务一致，从而拿到更有信息量的批内负样本。再配合 focal loss 强调难例、用相似度蒸馏迁移细粒度结构。在 MMEB-v3、MMEB-v2、MVEB、MAEB、RTEB 上取得当前最优结果。

实践启示：批内负样本的质量取决于批次怎么组。随机混合来源会让批内负例过于容易，对比学习的信号被稀释；按来源聚批能把负例难度抬上来。这条对检索与嵌入类训练数据管线直接可用，改动落在采样器而非数据本身，成本几乎为零。

五、语料统计能预测事实习得：信息几何视角

论文信息：The information geometry of large language models is shared, learned, and controllable（arXiv:2609.11063，https://arxiv.org/abs/2609.11063）

核心问题：不同语言模型学到相近的行为，共享的究竟是什么结构？有没有办法只改动一个行为而不扰动其它行为？

关键发现：作者用 next-token 概率的 Fisher-Rao 几何来回答：行为决定这一几何（在保持输出的对称意义下），激活几何则依赖坐标选取。跨 Transformer、状态空间与循环架构，输出几何的一致性强于激活几何，且一致性随预测精度、规模与训练推进而提高，只做模型侧校准还能再进一步。与数据最直接相关的一条是：预训练语料统计可以在不重新校准的前提下预测留出事实的习得；随机实验则显示，证据埋得越深，事实习得在所有被测架构与证据构造下都被显著推迟。这套几何还能给出最小扰动干预、预测干预的相对代价，并支持跨 prompt 复用控制。

实践启示：一个事实能不能被学会，很大程度由它在语料里的统计特征决定——出现频次、出现位置（埋在多深）都算得出来，也值得算。做知识密集型语料建设时，与其一味堆量，不如先统计目标事实的证据深度分布；对埋藏过深的事实，单纯加大数据量的收益会被推迟效应吃掉。

小结

五篇论文指向同一个判断：数据的组织方式——怎么打包、怎么排序、怎么组批、埋在多深——与数据内容本身同等重要。评测一侧也在往抗污染的方向迁移，固定榜单的公信力正被动态基准稀释。