数据论文速递 · 2026年10月04日

本期概览

本期五篇论文分布在数据生命周期的不同环节：中训练算力与 token 预算怎么分、微调数据会不会把模型带偏、分词器给不同文字标了不同价、知识蒸馏该挑哪些样本、开放数据后训练配方怎么搭。它们的共同点是把「数据」当成可测量、可调度的对象，而不是一堆固定的文件。三篇给出了可直接抄的量化门禁（token 预算离散度、伪标签纯度阈值、数据集充分性的域数—样本数反比关系），两篇给出了流程改造（分支合并替代单条长跑、难度感知的样本选择替代随机剪枝）。

Trajectory Soup：把中训练预算摊到多条分支再合并

论文信息：《Trajectory Soup: Pushing the Compute-Scaling Frontier of LLM Mid-training via Diverse Trajectories》，arXiv:2609.37169，https://arxiv.org/abs/2609.37169

核心问题：中训练（mid-training）给预训练模型补齐专业与推理能力，但串行堆算力的回报很快见顶——继续加算力换不到下游提升，某些能力还会下降。这条天花板限定了中训练能吸收多少算力。论文要回答：同一笔预算，是押在一条长跑上，还是拆成几条短跑。

关键发现：从同一个检查点分叉、用不同受控配方跑出来的分支，会落到参数空间里可测量的不同区域，这种「兼容多样性」是延长单条训练轨迹拿不到的。Trajectory Soup 把中训练预算摊到若干条独立分支上，按验证集挑出各分支最强的检查点，再做两级平均合并：轨迹内平均与轨迹间平均。偏差—方差分解把两级的贡献分开——轨迹间平均能消掉轨迹内平均够不到的残差误差；而检查点选择本身带偏差，这决定了合并多少个检查点才划算。跨模型规模、学习率调度、token 预算与轨迹条数的实验里，同等预算下的聚合下游表现都优于最强的单轨迹平均，且预算越大优势越明显；走完同一套后训练流水线后，优势仍然保留。

实践启示：把「一条跑到底」改成「分叉 + 挑检查点 + 两级平均」，是一条不依赖新数据就能续上中训练扩展曲线的路子。做中训练排期时，值得把分支条数当成与 token 预算并列的旋钮；验证集挑选的偏差提醒我们合并并非越多越好，需要按验证损失设一个合并上限。

Alignment Forecasting：训练前先预测这批数据会不会带偏模型

论文信息：《Alignment Forecasting: Predicting Misalignment From Training Data》，arXiv:2609.35805，https://arxiv.org/abs/2609.35805

核心问题：在带某种窄缺陷的数据上做微调，有时会让模型出现广泛失准。光看数据表面判断不出失准会不会冒头，目前的做法是训完再审计模型。论文提出一个新任务：Alignment Forecasting——给定一个目标模型、一份微调数据集、一种失准模式（欺骗、谄媚等），输出「在这批数据上微调会显著抬高该失准模式」的概率。

关键发现：配套的 ALIGNMENTFORECASTBENCH 含 5000 多条预测问题，覆盖 17 个目标模型、32 个数据集、16 种失准模式。前沿模型直接被提示去答，表现很差。论文改用一个两段式脚手架：一个 LLM 读数据集，给「这份数据把模型往失准方向推得多强、多广」打分；一个简单学习模型把这个分数与失准模式的基础率、目标模型的先验倾向合起来。这个组合远超随机，也超过在该任务上微调过的模型，还超过一个能看到弱模型在同批数据上微调后表现的预测器。从 UltraChat 里滤掉被它标出的样本，多数情况下多选题评测上的对齐度更好；开放式对话里的收益则看不出来。作者自己在摘要里留了一句：距离用预测结果可靠指导训练数据策展，还要走一段。

实践启示：数据策展的卡点正在从「事后审计」往「事前预测」挪。眼下这套预测器还不足以自动过滤数据，但它标记出的样本与前沿模型分类器标记出的并不重合——两类信号互补，可以先把它们并成人工复核队列的排序依据。做 SFT 数据入库门禁时，「基础率 × 数据推力 × 模型先验」这个三项结构比单看数据内容更容易工程化。

UBE：双字母表分词，削平跨文字的 token 预算落差

论文信息：《Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities》，arXiv:2610.01984，https://arxiv.org/abs/2610.01984

核心问题：字节级 BPE（BBPE）能覆盖全部 Unicode 文本，多语言模型爱用。但在 UTF-8 路径下，很多文字的「编码地板」比英文高——没有可用合并规则时，一个多字节字符要拆成多个字节派生符号。地板越高，token 数越多、单次请求成本越高、可用上下文越短。换一种文本编码能缩小差距，可全局只换一种编码，又会让混排文本里本已高效的英文片段变贵。

关键发现：UBE 是双字母表分词器：1–2 字节的 UTF-8 字符留在 UTF-8 路径，3–4 字节字符改走 UTF-16。它只改变喂给 BPE 的字节表示，合并规则保持标准，精确解码不受影响；也能和别的边界策略、形态学表示叠用。Unicode 17 审计里，UBE 对所有 Unicode 标量值、以及官方归一化、字素断行、emoji 测试集的全部输入都能精确往返。内在评测中它压低了「相对英文归一化的 token 数比值」的离散度，也就是削平了跨语言 token 预算落差；多语言语言模型实验里，语言建模质量与 BBPE 持平。主要多语言设置下，高溢价文字的 token 数降得最多，英文 token 数也略有下降——固定 token 预算下可用上下文变长，内容匹配基准上的提示处理也更快。

实践启示：多语语料的「数据量」在 tokenizer 层面就已经不平等，同一批文档换文字就换成本。做多语数据配比与预算核算时，token 数应与脚本溢价一起看；UBE 这类只动字节表示、不动合并规则的做法，改造面小、可精确往返，适合作为现有分词器的替换件评估。

DVA：数据少的时候，小教师比大教师更合适

论文信息：《When Less Data Favors Smaller Teachers: Rethinking Teacher Capacity and Data Selection for Knowledge Distillation》，arXiv:2609.34489，https://arxiv.org/abs/2609.34489

核心问题：数据剪枝能压低知识蒸馏的训练成本，但「该选多大的教师」会随数据预算变化——训练数据变少时，小教师反而能超过大教师。论文要弄清这个转向由什么驱动，并据此判断哪些样本对蒸馏有用。

关键发现：论文把教师监督拆成两部分：关系排序（类别之间的排序）与分数几何（各类概率的量级与间隔）。低数据区的小教师优势不只来自分数几何，也来自关系排序——这一条在过去只谈分数几何的讨论里被漏掉了。顺着这个拆解，论文给出有效子集的两条性质：样本难度要匹配手上的预算；样本携带的关系信号要多样而不是互相冗余。据此提出的 DVA（Difficulty- and Volume-Aware data selection）用小教师当代理，做预算感知的难度过滤，并最大化类条件的关系体积。它不依赖任何训练动力学统计，与基于训练动力学的方法有竞争力，且稳定超过同样不用训练动力学的基线。

实践启示：教师容量不是一个固定选项，而是数据预算的函数——预算砍半时，换小教师往往比换剪枝策略更见效。选样本时把「难度匹配预算」和「关系信号多样性」拆成两个独立指标，比单一难度分更好落地，尤其适合拿不到训练动力学日志的场景。

MMVistaReason：一套开放数据后训练配方与它的容量依赖规律

论文信息：《MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning》，arXiv:2610.01352，https://arxiv.org/abs/2610.01352

核心问题：开放多模态推理模型的后训练有四道坎：数据质量不均、监督信号构建低效、难度失衡、跨域互相干扰。论文给出 MMVistaReason（MVR）这套开放数据后训练配方来正面处理这四项。

关键发现：配方有三块。一是能力覆盖，横跨互补的分析型推理与真实世界推理两组，前者重结构化推理，后者重视觉感知与空间定位。二是高效的 SFT 与 RL 数据构建：把异构开放数据按阶段做清洗与标注标准化，再用难度感知的级联教师蒸馏配合基于答案似然的轨迹选择，产出 MVR-SFT-528K；RL 侧用规模特定的前沿过滤，产出 MVR-RL-63K。三是「先专后合」的训练：先训若干互补的 RL 专家，再用多教师 on-policy 蒸馏（MOPD）整合。论文分析出一条容量依赖的交互规律——监督难度、轨迹质量与模型容量三者耦合：小模型更吃精选监督的收益，大模型对轨迹波动和混合域干扰更扛得住。混合域 RL 会引入 benchmark 级别的负迁移，MOPD 则稳定地整合能力，且偏好的 KL 方向随模型规模而变。15 个多模态基准上，MVR-4B 平均 72.8 分，超过 Qwen3.5-9B（Instruct）与 MMFineReason-8B，而样本用量比 MMFineReason 少约 70%；放大到 9B，平均分升到 74.4，超过 Qwen3.5-35B-A3B（Instruct）。

实践启示：开放数据拼的是清洗与标注的标准化流程，不是原始规模——528K 的 SFT 加 63K 的 RL 就能在样本量砍掉约 70% 的前提下压过更大的对手。两条可以直接搬：难度过滤要按学生规模分档（小模型筛得严、大模型可放宽）；多域 RL 先分专家训再整合，比一股脑混合训练更能避开负迁移。

小结

五篇合起来指向一个转变：数据工作正从「攒量」转向「按可测量的指标调度」。token 预算可以按脚本溢价核算，伪标签可以按纯度阈值门禁，样本子集可以按难度与关系体积挑，算力可以按分支条数摊。需要留一档的是 Alignment Forecasting 那句自陈——训练前的失准预测还没到能自动过滤数据的程度，它现在更适合当人工复核的排序信号。