数据论文速递 · 2026年10月08日

本期五篇论文把「数据」当成可以动手改的自变量：语料里缺哪些 token、数据按什么顺序喂、微调时哪些样本的梯度获准进入、秩预算紧的时候该改数据还是改秩、训练语料在起始 token 上埋了什么线索。前两篇指向预训练阶段，后三篇落在适配与评测阶段，五个结论都能直接换成一个可执行动作。

语料词表饥饿才是灾难性遗忘的定位坐标

论文信息：A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks（arXiv:2610.09835，https://arxiv.org/abs/2610.09835）

核心问题：持续预训练与微调必然带来灾难性遗忘，常规解法是回放原始数据，而原始数据常常拿不到。在没有回放数据的条件下，遗忘究竟发生在参数空间的哪一块，由什么决定。

关键发现：作者在五种设置（最大 1.4B）里系统性地冻结不同参数块，发现遗忘只集中在「新语料极少出现的那些 token」的输出嵌入上；同一 sqrt(v-hat) 区间的主体参数是惰性的，新学到的东西落在别处。定位由语料的词表缺失程度决定，与训练方式无关——在同一个基座模型内，仅凭 token 计数就能在重训之前排出风险次序。机制上，缺席的 token 持续收到单侧 softmax 梯度，Adam 的二阶矩归一化把它放大成满量更新。据此给出的干预只有一行：训练时单独调高输出投影层的 Adam epsilon。八种设置、160M 到 12B、四个模型族上，七个稳定配置移除 39.4% 到 67.9% 的遗忘，不损伤目标学习，也无需按模型调参；与回放叠加时效果更好（Qwen 与韩语组合达 79.8%），并把释放 head 的 LoRA 从 23 倍遗忘激增中救了回来。事后编辑已经漂移的嵌入行只能恢复不到 5% 的遗忘。

实践启示：接手一份新语料时，先拿 token 计数对词表覆盖做体检，就能预估哪些位置会先失守。防御手段要落在训练过程中，事后修补基本无效。一行优化器改动的成本远低于构造回放集。

顺序预训练偏向大模型，首因偏差可以被正则压住

论文信息：Sequential Pretraining Favors Large Models（arXiv:2610.09611，https://arxiv.org/abs/2610.09611）

核心问题：大模型能学到小模型学不会的能力，究竟是因为特征更具代表性，还是因为对训练过程引入的不良效应更耐受。作者给这类不良效应下了定义并做了量化：首因偏差，即接触早期数据分布对后续学习造成的损害程度。

关键发现：小模型会把学习容量低效地投给早期分布，过参数化到一定程度后模型对这一效应免疫。预训练恰恰是顺序接触异质分布的场合，小模型对训练后期才出现的分布学得吃力，而后期往往正是代码、数学、推理这些重点能力域。作者提出 Exposure Therapy 正则，促使容量在顺序训练中被更均衡地分配，在十亿参数规模上改善了后期分布的表现，整体能力也随之抬高。结论偏向后者：大模型的部分收益来自对不良训练效应的鲁棒性，而非学到了更代表性的特征。

实践启示：数据排布顺序是与配比并列的一个独立变量，把重点能力域放在后半段，对小模型是实打实的损失。顺序既定，也可以用正则把一部分损失补回来。做数据配方实验时，顺序不该被当成随机噪声忽略。

微调期的样本准入：选哪些之外，还要管什么时候准入

论文信息：Which and When to Admit: Gradient Admission for Data-Centric Small Language Model Finetuning（arXiv:2610.07553，https://arxiv.org/abs/2610.07553）

核心问题：LoRA 让小语言模型在低秩更新子空间内适配异质指令数据，随之出现三个结构性问题：冲突梯度互相抵消、静态数据选择跟不上演化中的学习动态、子空间饱和后新更新覆盖掉有用方向。

关键发现：作者主张有效适配要管住两件事：哪些数据诱导的梯度进入子空间，这些梯度在什么时候进入，据此提出 GRADE：一个状态感知选择器持续接纳与演化中多任务梯度场对齐的样本，一个自校准的步级门控在接近饱和时拒绝会造成破坏性覆盖的更新。在三个当代基座与一个七数据集异质指令池上，GRADE 在准确率与鲁棒性上超过数据选择与 PEFT 稳定化两类基线，是唯一在每一种架构上都稳定优于标准 LoRA 的方法，梯度轨迹更连贯，破坏性覆盖更少。

实践启示：数据选择不该在训练开始前一次性做完就撒手。低秩预算下，「少而准」还要加一条「择时准入」；监控子空间饱和度来决定后面的样本还要不要进，比一味堆数据划算。

LoRA 的秩该由数据几何决定，而不是由模型决定

论文信息：A Fine-Grained Analysis of the LoRA Fine-Tuning Landscape with Implications for Data Selection（arXiv:2610.06542，https://arxiv.org/abs/2610.06542）

核心问题：适配器秩怎么选。秩过小会让优化景观条件数变差，秩过大又丢掉 LoRA 本身的效率优势，既有理论只在很强的假设下给出保证。

关键发现：作者借助非凸低秩矩阵感知的近期结果，给出更锐利的 LoRA 景观理论，核心判断是：合适的秩取决于数据诱导的优化几何质量，而不是模型本身。为此提出 LoRA-RIP，一种数据相关的受限等距度量，刻画交叉熵目标沿 LoRA 相关低秩方向的条件数。证明充分的秩过参数化可以消除伪局部极小值，所需秩由 LoRA-RIP 常数显式给出，把既有 RIP 类保证从经典 1/3 区间扩展出去。这一刻画让固定秩预算下的原则性数据选择成立。语言与视觉实验都支持预测：秩与数据质量是两种耦合的资源。

实践启示：动手调秩之前，先量一遍手头数据诱导的几何。秩预算卡死的时候，改数据比改秩更划算——把样本换成让低秩方向条件数更好的那一批，比把秩翻倍省算力。

基座模型的推理开关，是训练数据埋下的 token 线索

论文信息：Base Models Can Reason By Taking a Cue From Training Data（arXiv:2610.06851，https://arxiv.org/abs/2610.06851）

核心问题：训练数据如何在响应起始 token 与后续推理行为之间建立关联，这类关联又能被改到什么程度。

关键发现：固定住特定起始 token 线索之后，基座模型在数学与代码上可以追平做过强化学习的同款模型：线索「一个句点加空行再接 Okay」把 Olmo-3-7B 的 MATH-500 pass@1 从 42% 抬到 78%，「Alright,」把 Qwen3-14B 从 72% 抬到 87%。强化学习提高了这类线索的出现概率，把线索固定住就能找回强化学习相对基座的大部分增益。作者用因果数据干预做溯源：可以把任意词（例如 “chicken”）改造成有效的推理线索，也可以抹掉既有线索的效应；类似的一次编辑让提示语 “Think duck duck goose” 变得和 “Think step by step” 一样能引出推理。不同线索诱导出的隐状态表示，对应训练集里不同类型的文档。安全场景里，不同线索引出不同的拒绝与服从行为，各自对应不同类别的训练数据。

实践启示：评测基座模型时，起始 token 是一个必须钉死的隐藏变量，否则分数里混着语料偶然搭配出来的开关。想改变某类行为，改数据里的搭配关系比只改后训练更直接。线索也能反过来当探针用：看哪些起始 token 触发哪种行为，就能倒推训练语料的构成偏向。

小结

五篇合起来给出一条可执行的顺序：接语料先查词表覆盖，定配方时把顺序当成变量，适配阶段先量数据几何再定秩，训练中按梯度场与饱和度做择时准入，评测时把起始 token 钉死。每一步都对应一个能落到流水线上的检查项。