数据论文速递 · 2026年10月03日

本期五篇分三簇：数据配比与预算（两篇）、合成语料的来源风险（两篇）、更新尺度上的数据选择（一篇）。两篇给出了硬倍数——多模态配对比例对损失的门控效应，以及循环架构把预训练预算从 7.7T token 压到 310B；另两篇都指向「看得见的信号不等于管用的信号」：合成干扰项的来源伪影检得出来却没被模型利用，投毒样本过滤不出来却把抽取率放大了三倍以上。

多模态配比：配对比例是一条独立的预算轴

论文信息：Paired Multimodal Scaling Laws · arXiv:2609.36263 · https://arxiv.org/abs/2609.36263

核心问题：已有的多模态 scaling law 把多模态项当作测试之后的经验拟合项，也从未在固定数据预算下改变过配对数据的量。每模态各拿多少、其中多少是配对的，这两件事的收益此前没有被拆开算。

关键发现：论文在每模态总数据量相同的条件下，只改动配对数量，观察损失曲线怎么变。配对比例对损失影响极大，影响幅度与任务本身含有的信息协同量直接挂钩。只有配对数据能压低协同损失，非配对数据只能压低冗余信息与单模态信息，一路压到各自的单模态地板为止。与传统 scaling law 里损失立刻按幂律下坠不同，协同的获取是被门控的：配对数据得先跨过一个临界阈值，协同损失才开始下降。作者据此提出一族新的多模态 scaling law——总数据可归因损失等于四条独立幂律之和，分别对应冗余、每个模态各自的独有通道、以及协同四个信息通道。拟合测试误差 3.2%，已发表的配对扩展版最好结果是 10.4%。

实践启示：多模态的数据预算不该只按模态总量分配，配对比例是第三个独立变量。协同量低的任务堆配对数据是浪费；协同量高而配对量还没过阈值的任务，加数据看不到收益。排采购与清洗的优先级之前，先估任务的协同量，再定配对预算，比先扩总量划算。

循环语言模型：7.7T token 的配方压到 310B

论文信息：Closing the Loop: Practical Training Recipes for Looped Language Models · arXiv:2610.00673 · https://arxiv.org/abs/2610.00673

核心问题：循环语言模型靠重复应用同一组共享层块来增加有效深度，可已有的大规模配方要在数万亿 token 上做多阶段训练；循环本身带来的收益，又一直与数据和训练上的差异纠缠在一起分不开。

关键发现：三条结果。第一条是预算：从零训练的预算从 Ouro 的 7.7T token 降到 310B token，仍保留强推理表现。做法上是预训练之后接一轮精选的中训练，配合学习率预热与更强的出口门正则，不必沿用此前的多阶段排程就能让循环训练稳定。第二条是等条件对照：同样的数据、同样的 token 预算下，1.4B 的 LoopLM 在 12 个评测基准上全部超过参数匹配的稠密模型，GSM8K +14 分、MATH +10 分、DROP +22 分；在同等推理算力下逼近 3.9B 稠密模型的数学推理与阅读理解，参数量只用其 36%。第三条是存量改造的最小配方：一个可学习的输入混合标量加一个平滑的出口损失，没有按步数区分的参数。用在 Qwen3-1.7B-Base 上，两种数据制度下都超过了同样继续训练的稠密基线，在精选混合上 GSM8K、MATH、MMLU-Pro 的增益统计上清晰。

实践启示：循环架构的数据门槛比此前认为的低，25 倍的 token 预算压缩意味着中小团队也进得去做架构对照实验。验证架构改动时，把「同数据、同 token 预算」设成对照条件，比盯着最终榜单更能隔离出架构自身的贡献。存量稠密 checkpoint 改造成循环模型的成本只有一个标量和一个损失项，值得试。

合成语料审计：检得出的伪影，模型未必会利用

论文信息：When a Data Artifact Isn’t a Shortcut: Causal Auditing of Synthetic RLVR Corpora · arXiv:2610.00202 · https://arxiv.org/abs/2610.00202

核心问题：多条近期的 RLVR 数据流水线这样造数据：抹掉真实语料里的一段，让语言模型围绕它编出像样的错误选项。于是正确选项是真正的人类文本，每一个干扰项都是合成的，正确性与来源被绑在一起。策略从中可以学到的是来源，而不是正确性。

关键发现：论文在 GooseReason-0.7M 上审计这一条路径。先问不对称性是否可见：只读五个表面统计量、完全不看语义的分类器，在 315,499 个选项上做到 AUROC 0.562，勉强高于随机。聚合值底下藏着东西——代码类只有 0.416，低于随机，人工检查给出了原因：代码的干扰项是标准答案的单算符变异，不是自由撰写的替代项，两类在构造上近乎相同。检出信号与模型真的使用它是两回事，于是做干预：构造改写匹配的对照语料，双臂训练集规模一致，在同一个固定预算下训练两个策略。利用差距没有偏向未修改数据那一臂，0.021 对对照组的 0.027。在该预算下，一个可检出的伪影没有被利用。审计协议以几乎纯 CPU 的方式随论文发布。

实践启示：语料里存在可检出的伪影，与训练出来的模型会利用它，是两件要分开测的事，别看到 AUROC 高于随机就判这份语料不可用。领域层面的构造缺陷比聚合指标更值得查：代码域的 0.416 是被 0.562 这个聚合值盖住的。用「变异标准答案」生成干扰项，等于给来源线索留了一道后门，改成自由撰写再测一次就能看清差别。

众包微调数据：50 条投毒样本把抽取率抬到三倍以上

论文信息：The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning · arXiv:2609.33985 · https://arxiv.org/abs/2609.33985

核心问题：众包用户对话是在压低人工标注成本的前提下规模化收集 SFT 数据的通行做法，代价是不可信用户也能往微调流水线里贡献数据。此前没被充分研究的问题是：恶意用户能不能只用一小部分投毒数据，就放大对其他人贡献的、模型此前未见过的指令的抽取。

关键发现：答案是能，而且只需对已部署模型的黑盒、仅输出访问。跨四个模型与两份数据集，仅 50 条投毒样本，Qwen2.5-14B 在 OpenMathInstruct 上的近乎逐字抽取率达到不投毒时的 3.71 倍，Llama-3.1-8B 在 AceReason 上为 3.08 倍。数据过滤对检出投毒样本基本无效：表现最好的方法 F-1 只有 0.378，多数投毒样本没被拦下。

实践启示：众包 SFT 数据里的投毒不止是「掺进一批坏数据」，它会把别人的记录一并拽出来，放大倍数接近三倍。F-1 0.378 说明通用过滤兜不住这个风险，来源隔离与配额控制要排在过滤之前。采集侧应当把「贡献者不可信」设为默认前提，而不是当异常处理。

持续更新：数据归因、遗忘、塑性丧失是同一套动力学的三个制度

论文信息：Learning Dynamics of Continual Learning: A Unified View of Data Attribution, Forgetting, and Plasticity Loss · arXiv:2609.33620 · https://arxiv.org/abs/2609.33620

核心问题：现代语言模型会在一生中被持续更新，而不是训一次冻住。每一次更新都参与同一个循环：决定从哪段经验里学、弄清这次更新改了什么、保持继续学下一段的能力。这三件事此前被当成分开的三个问题来处理。

关键发现：论文指出三者受同一个不断演化的「更新—行为」交互支配，并给出 token 级与层级的分解，刻画从一个 token 学到的东西如何改变另一个预测。把 softmax 力、共享 readout 几何与残差连接分开之后，暴露出两条交互通道，并给出一个可前向计算的近似。沿时间追踪这个交互得到统一图景：正交互标记出有用的经验；负交互产生集中式碰撞或累积式侵蚀；时程拉长之后，更新会改写中介未来学习信号的共享几何，降低其传导效率。这些预测导出有效的 data selection、按机制区分的干扰控制手段，以及一个基于 readout 的「未来可学习性」诊断——该诊断的退化程度能预测恢复 readout 的收益。

实践启示：数据归因、遗忘与塑性丧失是同一套学习动力学的三个不同制度，不必各配一套工具。数据选择可以直接用「正交互」这个量做，不用等训练结束再回看。要做多轮更新的团队，readout 的退化是一个可提前测的指标，它提示什么时候该恢复而不是继续加数据。

小结

五篇合起来看，数据侧的两个默认前提都在这期被拆掉了。2609.36263 拆的是「多模态配比只按模态总量算」，配对比例是一条独立且被门控的预算轴；2610.00673 拆的是「新架构必须配万亿 token 配方」，7.7T 到 310B 的压缩把对照实验的门槛降了下来。剩下三篇都在讲信号的可信度：2609.33620 把归因、遗忘、塑性收进同一套动力学，2610.00202 说检得出的伪影不等于会被利用，2609.33985 说过滤不掉的投毒反倒放大了三倍以上的抽取率。