数据论文速递 · 2026年10月17日

本期五篇论文分别站在数据预算的三个不同高度上：一篇把整个训练生命周期的数据策略重新归纳成「在候选样本上分配预算」，两篇给出样本量与难样本取舍的可证明结论，一篇标定稀疏自编码器到底需要多少激活数据，一篇给出多语言指令数据的构建与许可实践。把它们放在一起看，数据的价值不取决于打分器有多细，而取决于预算被分配在哪一批样本上、以及这批样本处在训练的哪个阶段。

把数据策略写成预算分配：一份覆盖训练生命周期的统一视图

论文信息：Data Strategies for Large Language Models: A Unified Perspective on the Training Lifecycle（arXiv:2610.21681，https://arxiv.org/abs/2610.21681）

核心问题：数据策略决定语言模型能从一份固定数据预算里学到什么，它管的是训练样本的选择、加权与调度。这个领域的研究已经铺满预训练与后训练两个阶段，术语和评估协议却各说各话，缺少一个能把不同方法摆在同一张表上的框架。

关键发现：作者把优质数据定义为「训练依赖效用高」的数据——效用取决于目标任务、模型本身与模型当前的训练状态，而不是文本自身属性。在此之上，全部数据策略被形式化为一种策略函数：把训练预算分配到候选样本上。方法按三个维度归类——决策粒度、模型依赖程度、时间适应性。粒度越细、越依赖模型状态的策略控制力更强，代价是额外的打分、搜索或 rollout 开销。论文逐类比较了计算开销与实证支撑强度，并指出跨模型规模的迁移证据与端到端等成本对比仍然不足。

实践启示：选型之前先问三个问题——策略在哪个粒度上做决定、它要不要看模型当前状态、它会不会随训练进程变化。这三个轴直接决定开销结构。做跨规模迁移时别默认小模型上的结论能搬到大模型，论文给出的证据支持很薄。

只留最难的那批：激进剪枝在高样本区是最优解

论文信息：Hard Way, The Only Way: Provable Merits of Training on Hardest Examples（arXiv:2610.21201，https://arxiv.org/abs/2610.21201）

核心问题：剧烈数据剪枝在实践里反复奏效，背后的统一理论解释却一直缺位。已有分析多半局限在一维输入子空间上的剪枝，也不清楚剪枝策略怎么与损失函数、标签噪声相互作用。

关键发现：作者给出加权经验风险最小化下的高维剪枝理论，在输入维度 N 与样本数 P 以固定比值 N/P 趋于无穷的区域，精确刻画了极限测试误差曲线，把文献中若干结果收作特例。重点结论落在 P 远大于 N 的高样本区：策略性剪枝能把分类测试误差的衰减速度从普通 ERM 在二次损失这类无指数尾损失下的 sqrt(N/P) 速率，提到 N/P 的贝叶斯最优量级。达到这个最优的剪枝方式相当极端——丢掉几乎全部训练数据，只留下严格按难度排序后的 2N 个最难样本。

实践启示：数据剪枝不是「砍掉噪声」的温和操作，最优解在理论上是可以砍到只剩常数倍于维度的样本量。做剪枝策略时把损失函数与标签噪声一起纳入考量，二者会改变最优剪枝的形状。难度排序的可靠性比保留比例更值得投入工程资源。

稀疏自编码器的数据预算：功能收敛早，特征复现晚

论文信息：Diminishing Returns of Data in Sparse Autoencoders: Functional Behavior does not Guarantee Feature Reproducibility（arXiv:2610.20680，https://arxiv.org/abs/2610.20680）

核心问题：稀疏自编码器通常拿几亿到几十亿个激活 token 训练，这个量级到底必不必要，此前没人系统验过。收敛本身也有两重含义：功能行为达标，与所学特征能否一对一复现。

关键发现：作者在三个语言模型上训练四种 SAE 架构，预算从 500 万 token 拉到 5 亿 token 的参考规模。功能层面的数据需求高度依赖指标——重建误差往往在远小于参考规模的预算下就逼近全数据结果，特征复现率却继续随数据量爬升。Gemma-2-2B 上的 BatchTopK，严格匹配特征占比从 500 万 token 时的 2% 升到 5000 万 token 时的 29%。数据选择方式同样起作用：随机采样更好保持原始激活分布，一般利于重建；多样性采样则经常改善 AutoInterp。理论分析把「子采样训练的统计一致性」与「一对一特征恢复所需的更强可辨识性与优化条件」分成了两件事。

实践启示：先定目标再定预算。只做重建类评测时，当前默认的数据量多半过剩；要做特征级声明，就必须附上显式的复现率检查。采样方式不是实现细节，随机与多样性采样会导向不同的特征集合。

数据量越过一道门槛，模型才从上下文学习转向专业化

论文信息：In-Context Learning Before Specialisation: Theory of Learning in a Solvable Topic Model（arXiv:2610.21901，https://arxiv.org/abs/2610.21901）

核心问题：序列模型的泛化有两条路——外推训练中见过的结构，或者靠提示适配新任务。哪条路占上风决定了模型在训练分布之外的行为。经验研究已描述过这条转变随预训练数据质量与数量变化，缺的是解释「为什么某一种解会被选中」的学习理论。

关键发现：作者在一个可解主题模型里给出该竞争的理论——文档从有限个隐主题的混合中采样，对应现代预训练数据的异质性。这份数据集自带两个解：一个是存下有限主题混合的专用预测器，另一个是对训练中没见过的主题最优的上下文预测器。理论预测两者在不同的样本复杂度上出现：上下文预测器很早就可用，专用预测器则要等训练 token 数超过数据生成过程的参数量之后才出现。从头训练的 Transformer 复现了这两个尺度与中间的交叉点，与理论吻合，且没有拟合参数。这条结论把「数据量」与「数据生成过程的复杂度」放在同一把尺子上比：转向并不随数据量平滑推进，而是发生在训练 token 压过数据生成过程参数量的那一刻。

实践启示：评估预训练效果时先分清想要的是哪一种能力——依赖提示适配的能力在数据不多时就已成形，靠记忆主题结构的能力则要等到跨过那道门槛。用数据量换专业化，换的是越过参数量阈值的那部分增量。

Multi-SFT：50 万条宽松许可的多语言指令数据

论文信息：Multi-SFT: Permissively-Licensed Multilingual Instruction-Following（arXiv:2610.22086，https://arxiv.org/abs/2610.22086）

核心问题：监督微调数据集压倒性地偏向英语，许可上也普遍受限——内容多由专有模型生成，服务条款禁止用来训练竞品系统。非英语、可商用、可自由分发的指令数据长期缺位。

关键发现：作者发布 Multi-SFT，五种欧洲语言、502,818 条指令-回复对，用翻译管线构建，并对翻译不足以保留任务特征的部分改用再生成管线。人工评测给出的标注者间一致率在所有数据集与语言上不低于 0.87。用它微调三个模型家族（EuroLLM、OLMo 2、Qwen3，参数从 1B 到 32B）共九个模型，在 13 个基准上评测：单用 Multi-SFT 的效果与规模更大的增强混合数据、以及官方指令微调版本相当，在安全性任务上优势明显。

实践启示：多语言 SFT 数据的瓶颈不只是量，还有许可链。翻译管线够用的任务直接翻译，翻译会磨掉任务特征的任务必须再生成，这条分流的判断标准可以复用到其他语种。评测一致率要在每个语种上分别报，聚合数字会盖住单个语种的标注质量问题。

小结：预算的三个层次

五篇论文从三个层次回答同一个问题。最上面一层是策略层：数据策略就是预算分配函数，粒度、模型依赖、时间适应性三个轴决定它的开销与适用面。中间一层是样本层：剪枝的最优解在理论上极端到只留 2N 个最难样本，SAE 的数据需求则随目标从重建换成特征复现而大幅抬升。最下面一层是构建层：多语言指令数据的缺口在许可而不在生成能力，翻译与再生成的分流标准是可迁移的工程经验。做数据工作时先确认自己处在哪一层，再决定把精力投在打分器上、投在保留比例上，还是投在许可链上。