数据论文速递 · 2026年10月02日

本期五篇都落在「数据怎么选、怎么配、怎么加」这条线上，方向分成三簇：合成数据的取舍（两篇）、数据选择与配比的精算（两篇）、继续预训练里的重放分配（一篇）。两篇给出了彼此独立的「减量反超」数字——一份只用全语料约 10% 到 15% 的代码混合，一份只用 10% 数据池的后训练选择，都追平或超过了全量训练。剩下两篇指向同一个判断：合成数据的价值不能逐条孤立估计。

合成数据策展：逐条打分看不见样本之间怎么相互作用

论文信息：Effective Synthetic Data Curation Requires Group-Level Signals · arXiv:2610.00779 · https://arxiv.org/abs/2610.00779

核心问题：合成数据已经是大模型训练的必需品，自主与长程任务执行这类能力要靠它撑起来。规模化地训练合成数据会拖累模型的生成能力，于是「哪些合成数据值得训」变成一个必答的问题。现有策展做法用个体级信号回答——逐条孤立地估计每个样本的训练效用。

关键发现：横跨预训练与后训练两种设定，个体级信号对合成数据不够用，组级信号（把样本之间的相互作用计入效用估计）才是必要条件。三条结论逐层递进。第一条是个体级信号的盲区：组成不同的合成数据集，在个体级影响下可以无法区分，在组级影响下却差别明显；按组级信号策展带来更好的下游表现，生成能力上尤其突出。第二条讲这个结论的适用边界：训练流水线越合成化，组级信号越重要——常用策展方法里，只有引入了组级信号的那些超过基线，把刻画样本间关系的权重放大时，增益继续上升。第三条是把结论落到算力约束下：论文给出一个低成本诊断，先判断哪些合成数据分组最需要组级估计，用远低于全量组级打分的算力拿回大部分收益。

实践启示：合成数据的验收不该只看逐条质量分。同一批样本打出来的逐条分数分布相近，放进训练里可以有完全不同的结果，这时差异只存在于组合层面。做预算规划时，诊断步骤值得放在全量组级打分之前——它决定的是算力该花在哪几组上，而不是要不要花。

继续预训练：重放配比可以从模型状态里在线算出来

论文信息：Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining · arXiv:2609.40089 · https://arxiv.org/abs/2609.40089

核心问题：继续预训练让模型适配新领域与新知识，代价是遗忘已经具备的能力。重放能缓解这个取舍，可固定重放配比是在脱离模型实际留存需求的前提下分配的——配比先定死，训练再照着跑。

关键发现：论文提出 Replay on Demand（RoD），把重放分配从模型的学习动态里推导出来，而不是事先指定。RoD 给两类样本分别排序：适配样本按其剩余学习潜力，重放样本按其已观测到的遗忘量。两类样本争夺同一份训练预算，竞争结果构成一个在线课程，逐步决定这一步该训什么。跨模型、规模与适配域，RoD 达到或优于调过的固定重放基线与模型合并所构成的「适配—遗忘」前沿，且全程没有预设重放配比。重放的流向也有规律可循：集中在更容易被遗忘的来源上，并随着遗忘在训练中浮现而动态增加与重新分配。

实践启示：重放配比不必在开跑前定死。把「已观测到的遗忘量」做成一等信号，与「剩余学习潜力」放在同一个预算里竞争，配比就自然浮现了。对要做多轮继续预训练的团队，这套做法省掉的是每换一个适配域就重调一次配比的成本。

代码语料：按类别记账，10% 到 15% 的用量可以超过全量

论文信息：How code helps different tasks? A decompositional lens on LLM post-training · arXiv:2609.33845 · https://arxiv.org/abs/2609.33845

核心问题：把代码数据当作单一语料来评估，会掩盖哪一类代码数据对哪一个模型、哪一类下游任务有用。有效的数据选择既要看单个类别各自的收益，也要看这些收益在类别组合之后是否还在。

关键发现：论文先把一份经过执行验证的代码语料，按解法里的计算模式切成可解释的类别，再用受控微调实验，在指令微调模型上对比单个类别与均衡混合，覆盖问答、数学、代码生成三类任务。得到的响应图显示，平均问答性能上有反复出现的增益；同一个类别却可以在一个模型或任务上带来提升、在另一个上拖后腿。表现最好的类别随起始模型与目标任务而变，不存在通用最优。按这些结果组合紧凑混合之后，在选定的模型—任务对上，成员各自都能提升目标任务的混合，超过其最优单成员，也超过全语料训练，用量只有全语料的约 10% 到 15%。

实践启示：代码数据要按类别记账，别按语料总量记账。类别与模型、任务之间存在交互，一套在 A 模型上验证过的代码配比搬到 B 模型上，完全会反向。小规模受控实验画出「类别 × 模型 × 任务」的响应图，成本远低于按总量盲目扩容。

CAP：先用层间表示判断这条数据模型会不会，再决定要不要训

论文信息：Model-Aware Data Selection from In-and-Out Information Interplay · arXiv:2609.33010 · https://arxiv.org/abs/2609.33010

核心问题：后训练数据选择要判断候选样本对当前模型还有没有价值。模型在预训练里吸纳了大量知识，哪些知识已经被权重存住、哪些还拿不出来，此前缺少一个不用真去训练就能测的信号。

关键发现：论文观察到权重里存的知识与流经模型的数据流之间存在一种秩的平衡。跨所有层看，隐藏状态（数据流）呈 U 形：早期层大幅压缩，后期解码阶段陡然上升。权重秩呈倒 U 形：首尾层很低，中间层很高。作者把这解释为内外信息交互——中间激活不必携带权重后面能补上的内容，主要保留权重给不了的东西。据此提出模型感知的数据选择方法 CAP（反事实吸纳剖面），用模型自生成回答与参考回答在早期层与后期层表示上的散度差距，判断一条候选数据是否含有当前模型已经拿得到的信息。跨数学、代码、科学三个域，在不同选择预算下，CAP 相对基模型的平均提升比最强基线高 35.4%；只用 10% 的数据池，就在数学与科学上追平或超过全池训练。CAP 还能迁移到多模态数据选择，对回答长度与噪声保持稳健。

实践启示：「这条数据模型会不会」不用真训一遍才知道，层间表示的散度差距已经够用。10% 池子追平全池这件事说明，后训练预算里最大的浪费是反复喂模型已经会的东西。选择预算越紧，这类模型感知信号的相对价值越高。

TATC：给合成数据的「该加多少」一个可算的答案

论文信息：Training-Aware Target Coverage for Synthetic Data Selection · arXiv:2610.00814 · https://arxiv.org/abs/2610.00814

核心问题：合成数据越加越多，模型未必更好。有用的合成数据得补上与目标任务相关的信息，又不能引入抵消掉这份收益的错误；一条样本的价值还会随着训练集增大而改变。

关键发现：论文建立了一套线性理论来刻画这个取舍，回答三个问题：合成数据在哪里有用、该加多少、往已有集合里再加一条的边际价值是多少。分析给出分界线——什么条件下只看输入覆盖就够了，什么条件下必须把合成错误一并计入。据此提出 Training-Aware Target Coverage（TATC）：先筛出训练效应有利于目标任务的候选，再在这些候选里挑选，去扩展可用数据尚未覆盖的目标相关方向。文本与图像实验验证了该线性理论。数学推理任务上，TATC 为 Qwen2.5-Math-1.5B-Instruct 挑选合成解法做微调，在各档选择预算下都超过其他合成数据选择方法。

实践启示：合成数据的用量不该拍脑袋定，也不该按「越多越好」线性外推。覆盖度与错误率是两个独立变量，只盯覆盖度会在错误率高的区间里加出负收益。边际价值随集合增大而变，评估要做成增量式的：每加一批就重算一次，而不是在开跑前一次性算完。

小结

五篇合起来看，数据工作的评估单位正在从「单条样本」往「样本集合」迁移：2610.00779 说逐条打分对合成数据不够，2609.33010 说判断单条价值要看它相对当前模型的增量，2610.00814 把这条增量写成了可算的边际价值，2609.33845 说代码语料要按类别而非总量记账，2609.40089 说配比本身可以从训练动态里在线长出来。减量反超的数字出现两处，指向同一个事实：数据侧的浪费比此前估计的多。