数据论文速递 · 2026年10月10日

本期概览

本期五篇分别落在数据链路的不同位置：训练语料之外但直接影响语料计价的分词器训练配比、合成数据的量该怎么定、语料剪枝该剪多少、数据规模需求背后的机制、以及合成数据生成器要不要跟着模型一起训。共同点是都在问同一个问题的不同切面：给定预算，把数据花在哪里。

分词器训练数据的份额，给多了反而伤低资源语言

论文信息：Language-Specific Effects of Tokenizer Choice in Multilingual Language Models，arXiv:2610.12144

核心问题：词表容量有限，给一种语言更好的表示往往要从别的语言那里挤。分词器训练数据里各语言该占多少份额，这个问题此前没有定论。

关键发现：作者训了 123 个语言模型、覆盖 54 个分词器，架构、训练语料、训练 token 预算、优化配置全部固定，两组模型之间只差分词器。结果是分词的收益并不在各语言间均匀分布——一种语言在 54 个分词器上的 bits-per-byte 标准差，随它在模型训练数据里占比的下降而上升，31 种训练语言上 Spearman rho 为 -0.52，28 种带词边界的语言上为 -0.69。把某种语言整体排除出分词器训练数据会抬高它的 BPB，且模型训练数据越少的语言，抬升幅度越大。给低资源语言更大的分词器训练份额并不无条件有益：等权重分配、按模型训练数据占比倒过来分配，两者都抬高了它们的 BPB，在语言模型训练重复数据时尤其明显。哪些分词器内在指标对应更好的 BPB，在不同语言上并不一致。作者用这些指标预测下游模型两两之间的 BPB 排序，预测成立。

实践启示：分词器候选可以在训语言模型之前先筛一轮，不必每个都跑完整训练。低资源语言的收益主要来自”有没有被放进分词器训练数据”，不是”占多大份额”——份额上做倾斜容易过冲。评估配比方案时要连带看语言模型侧是否重复数据，两边不独立。

合成数据要多少条：由覆盖面定，不由难度定

论文信息：Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs，arXiv:2610.10594

核心问题：监控已部署语言模型的激活探针，训练数据来自合成对话，到底要生成多少条才够。

关键发现：作者在 10 到 590 条合成样本区间上追学习曲线，覆盖三个监控概念（高风险情境、对人有伤害的回复、不听用户指令的回复）、14 个留出评测分布、4 个探针模型，并更换生成模型与提示的详细程度。量级差别很大：在 Gemma-3-27B-IT 上，高风险与伤害类探针从 80 条起就离自己的平台只差几个百分点，指令类探针要几倍的量，排序在三个更小的探针模型和真实样本上保持一致。作者把一个概念需要的”深度”拟合成半增益规模，即拿下一半增益所需的样本数。概念与评测分布解释了半增益规模方差的 42% 到 45%，生成模型、探针模型、提示详细度加起来贡献不到 10%。真正决定这个数值的是覆盖面，不是单个种类的难度：每个种类（每个评测分布一个）的半增益规模中位数只有 7 到 11 条同类合成样本，三个概念上都一样。差别出在迁移——高风险概念下一个种类几乎能覆盖其余种类，指令概念下各个种类互不覆盖。

实践启示：生成预算该横向铺种类还是纵向堆同类样本，取决于概念的跨域迁移率。指令类必须铺种类，堆同类样本换不来泛化；高风险类堆同类样本近乎够用，横向铺开是浪费。换更强的生成模型或写更细的提示，对”要多少条”这件事的影响比选概念小一个量级。

代码检索微调：5% 数据追平全量，剪枝器自己切换角色

论文信息：MAP4CS: A Multi-dimensional Data Pruning Framework for Efficient Code Retriever Fine-tuning，arXiv:2610.11727

核心问题：代码仓库语料规模大、噪声与冗余多，全量微调成本高，还会被低质量样本拖累，随机采样则不保证代表性。

关键发现：MAP4CS 把句法结构、语义多样性、分布表示三个维度合在一起来挑核心子集，后面再接一条规则过滤流水线。在两个大规模数据集上，只用 5% 的训练数据就稳定超过随机采样基线，效果与全量微调相当，部分设置下更优。语言学分析给出一个有意思的机制：同一套剪枝器会按语料性质切换角色——面对冗余语料时它表现为去重器，面对混乱语料时表现为降噪器，最终构造出的训练语料词汇多样、信息密集。

实践启示：数据剪枝不必为每种语料病害各配一把刀，多维打分加规则过滤的组合能自适应切换。做代码检索这类领域适配时，先用 5% 核心子集跑一轮基线，比直接全量微调划算得多。

隐性学习为什么需要上万条载体数据：Fisher 矩阵把标签噪声放大了

论文信息：Why Subliminal Learning Needs So Much Data: A Noisy Inverse View through Steering Vector Recovery，arXiv:2610.04907

核心问题：隐性学习让学生模型从语义无关的数据里继承教师的行为特质，但已发表的演示动辄需要上万条载体样本，这个量从哪来并不清楚。

关键发现：作者把测试床换成隐性 steering——教师特质是一个已知的残差流向量，迁移可以直接测参数恢复程度。在完全相同的载体前缀上比较 token 级 hard 监督（NLL）与全分布 soft 监督（KL）。初始化时两者梯度近乎共线，也都不太对齐目标向量；迭代优化之后两者分化：soft 监督用几百条载体就几乎精确恢复目标向量，hard 监督即使用到上万条仍远低于它。解释是把 steering 向量蒸馏看成一个带噪的线性逆问题：载体任务通过自身的 Fisher 矩阵把特质映射成梯度方向，梯度指向的是被 Fisher 矩阵扭曲后的目标而非目标本身；梯度下降逐步充当阻尼越来越小的逆运算。soft 目标下这个逆能恢复低曲率方向，hard 标签下它还顺带放大这些方向上的采样噪声，最优逆深度随独立载体数量增长。Qwen2.5-7B 与 Gemma-2-9B 上验证了四条预测，其中一条是：从固定的 prompt 池里重采样 completion，与新增 prompt 效果相当。

实践启示：需要靠数据规模硬堆的迁移任务，先检查是不是监督形式选错了——把 hard 换成 soft，数据需求能从数万降到数百。这里的海量数据主要作用是压住被放大的标签噪声，不是揭示特质本身。采集预算紧张时，固定 prompt 池重采样是新增 prompt 的等价替代。

合成数据生成器与解题策略一起进化

论文信息：SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning，arXiv:2610.11345

核心问题：自进化智能体要持续自我改进，就得让训练经验跟着能力一起变。现有管线用的是静态数据集或单独更新的合成模型，于是一部分任务变琐碎、另一部分过难仍无信息量，能力与训练分布越走越远。

关键发现：SynCo 联合优化两个独立参数化的智能体：Synthesizer 按 Reasoner 当前的能力状态构造训练任务，Reasoner 从产生的经验里学习。每个合成任务引发多条 Reasoner rollout，rollout 的结果给两个智能体各自不同的奖励——正确性反馈用来改进 Reasoner，任务质量、答案可靠性、由结果定义的”可教性”用来指导 Synthesizer。两边的更新回流到下一轮合成，解题策略与训练分布一起演化。在 8 个数学推理基准上，SynCo 大幅超过一众合成数据方法与对照基线，且增益主要来自此前解不出的题。

实践启示：合成数据管线里，生成器本身应当被纳入训练循环，而不是训完模型再单独更新一次。奖励信号用”可教性”比只看通过率更稳：前者能一并挡住过易与过难两类无信息量样本。增益集中在未解题这一事实说明，静态数据集最大的浪费发生在中段，那里堆的是模型已经会做的题。

小结

五篇的分歧点集中在”把预算加在数据量的哪个维度上”。分词器那篇说份额倾斜会过冲，探针那篇说该铺种类还是堆深度取决于概念的可迁移性，剪枝那篇说 5% 的核心集足以代表全量，隐性学习那篇说换监督形式能把数量需求压掉两个量级，SynCo 那篇说静态池的浪费集中在模型已经会做的那部分。合起来看，本期的结论是：数据量的边际价值由它与模型当前状态的匹配度决定，而不是由条数决定。