数据论文速递 · 2026年10月11日

本期概览

本期五篇论文都在回答同一个问题的不同切面：训练信号该发给谁。

前两篇把粒度压到 token。在线策略蒸馏里，教师给学生自己生成的轨迹打逐 token 监督，以往默认「监督越密越好」，两篇论文各自给出了反驳——一篇只留 40% 的 token 就压过全量，另一篇用元学习给每个 token 的学习价值动态定价。第三篇把问题抬到预算层：合成数据的生成额度该押在哪批样本上，作者跑了 103 次训练，得到的是零结果，并顺手挖出了基准里 50/76 的重复污染。第四篇讲合成数据的课程编排，顺带给出一个工程细节：dataloader 的序列填充能把准确率从 40% 打到 1%。第五篇退到最外层，问的是数据集本身：七个对话数据集各自带着可识别的「签名」，分类器能从用户消息反推来源，这种偏差会一路传到下游用户模型。

在线策略蒸馏：只留四成 token 反而更好

论文信息：DIAL-OPD: Learning More from Fewer Tokens in On-Policy Distillation，arXiv:2610.11659，https://arxiv.org/abs/2610.11659（8 位作者）

核心问题：在线策略蒸馏（OPD）让学生在自己生成的轨迹上接受教师的逐 token 监督。直觉上监督越密越好，作者却发现训练更少的 token 可以跑赢全 token 版本，于是问题变成按什么标准挑 token。已有的分歧度准则只看 log 比值、忽略概率量级：教师和学生都给出极低概率的「低-低」token 会拿到很大的 log-ratio 奖励，反而拖累学习。

关键发现：DIAL-OPD 用教师概率与学生概率的对数平均给奖励幅度加权，参数 beta 控制这一权重，保留得分最高的 token。在 4 组师生配对、7 个数学推理基准、9 个基线的对比里，只保留 40% 的 token 就超过 Vanilla OPD 及其全 token 变体，平均准确率最高提升 5.25 个百分点，AIME25 的 Pass@16 从 13.33% 翻倍到 26.67%；在同等保留率下比最强的 token 选择基线相对提升最多 18%。用一个 4B 教师训出的学生，在两个学生规模上都压过了用 8B 教师的最强全 token 基线。token 级证据显示它滤掉的是高奖励但推理价值有限的 token，保住的是对推理正确性关键的监督。

实践启示：蒸馏数据不必按「全量」验收，token 保留率应当作为一项可调超参写进配方。判断哪些监督该丢，只看预测分歧不够，得把概率量级一并带进来。把教师规模从 8B 降到 4B、配合更好的监督分配，收益可以超过单纯堆教师参数——预算紧张时，先优化分配再考虑换更大的教师。

给每个 token 的学习价值动态定价

论文信息：MetaOPD: Meta-Learned Token Weighting for On-Policy Distillation，arXiv:2610.11989，https://arxiv.org/abs/2610.11989（9 位作者）

核心问题：上一篇的做法是「筛掉一部分 token」，这一篇走另一条路：不删，而是给每个 token 分配权重。现有加权方法依赖人工预设的「预测信号 → token 权重」映射，这套映射没有从学生更新的实际效果里学出来，跟不上训练过程中变化的学习需求。

关键发现：MetaOPD 用双层优化把学生模型和一个轻量 token 加权网络放在一起学。内层目标用加权 OPD 更新学生，外层目标拿参考解答上的验证损失评估这次更新，通过对更新过程求导，把「权重决策」与「更新后的表现」直接连起来。在 6 个数学推理数据集加 3 个域外数据集、两个学生规模、7 个基线上，0.6B 学生的 Avg@8 与 Pass@8 相对 OPD 提升 1.99 与 5.97 个百分点，1.7B 学生提升 2.25 与 6.41 个百分点。

实践启示：token 权重不该是一张写死的映射表，而应随学生状态演化。外循环只需要一个轻量网络加一份参考解答上的验证损失，成本低于重新设计选择准则。与前一篇合起来看，同一批蒸馏 token 有两种改法——删掉低价值的部分，或压低它们的权重，两条路都指向「均匀监督是浪费」。

合成数据的预算该集中，还是该跟着不确定性走

论文信息：Concentration, Not Uncertainty: Why Targeted Synthetic Data Doesn’t Help Camouflaged Object Detection，arXiv:2610.09807，https://arxiv.org/abs/2610.09807（2 位作者）

核心问题：伪装目标检测需要像素级标注，人工标注又慢又贵，合成图像是自然的替代。给定固定的生成预算，该挑哪些真实图像区域去定向生成？主流做法是不确定性引导：聚类未标注的真实图像，找出模型最不确定的簇，把合成额度投过去，迭代重训。

关键发现：跨 103 次训练运行，不确定性定向并没有跑赢随机分配。作者设了五项独立对照，说明这个零结果不是假象：定向训练集与随机训练集确实不同，但差异由「把预算集中起来」造成，与不确定性集中在哪无关——每一条集中规则都能复现这个效应，在边界精度上，瞄准模型最确定的簇也一样有效。附带发现：CHAMELEON 里 76 张图有 50 张与训练数据重复，而标准重叠检查报告的重叠数为零。

实践启示：做合成数据预算分配实验时，务必把「集中」与「定向」拆成两个变量，否则会把预算效应误读成信号效应。基准的重叠检查报告为零不等于没污染，抽查重复图这一层要自己做。固定预算下，与其纠结挑哪些样本，不如先把「集中投放 vs 均匀投放」这一层定下来。

合成数据的课程编排：一个填充细节值 39 个百分点

论文信息：Algorithmic Scratchpads and Curriculum Staging for Arithmetic Reasoning in Tiny Transformers，arXiv:2610.09003，https://arxiv.org/abs/2610.09003（1 位作者）

核心问题：自回归语言模型在多位数乘法、长除法这类确定性多步任务上一直吃力。作者用约 1060 万非嵌入参数（总计 4930 万）的小 Transformer，在四种基本运算的合成数据上训练，把运算过程展开成分步草稿纸，看草稿纸的写法与课程编排怎么决定成败。

关键发现：先立了三条训练前提。dataloader 的序列填充会造成 83% 的梯度饥饿伪影，准确率从 40% 塌到 1%，改用连续序列打包即可修复；语言学预训练是必要前提，缺了它准确率不超过 2.0%；RoPE、RMSNorm、SwiGLU 与稀疏 MoE 显著改善加法推理。草稿纸的写法直接决定结果：把逐位长除法写进四阶段分层发展课程，单 digit 除法在 4000 题留出集上从 4.0% 提到 86.7%；多位数乘法仍失败，错误分析显示模型会算单 digit 子积与位值零，但 FOIL 草稿要求一步之内累加最多九个多位数项，中间没有成对累积。两条边界也标了出来：未见过的 4 位操作数上性能塌到 0.00%，无缓冲训练会引发灾难性遗忘，把除法准确率从 86.7% 拉回 0.00%。

实践启示：合成算术语料的「写法」比「量」更关键，草稿纸必须匹配模型能一步完成的原子操作。序列填充这种看起来无害的工程默认值，能吃掉几乎全部训练信号，值得在开工前先量一遍有效 token 占比。课程分层的收益要和无缓冲训练的遗忘风险一起评估。

数据集自带「签名」，会一路渗进下游模型

论文信息：Dataset Signatures in Human-LLM Interactions and User Modeling，arXiv:2610.05534，https://arxiv.org/abs/2610.05534（2 位作者）

核心问题：人机对话数据集塑造了我们对 AI 使用方式的理解，也构成用户模型训练与评测的基础。近年涌现出一批宣称捕捉「真实世界」交互的数据集，作者要问的是：这些数据集给出的画面差异有多大，差异对建立在它们之上的研究意味着什么。

关键发现：研究覆盖七个对话数据集，既有真实场景的聊天日志，也有人类偏好数据。作者重做了 Torralba 与 Efros 的数据集分类实验：神经网络分类器仅凭用户消息就能远高于随机地辨认出对话来自哪个数据集，说明每个数据集带着可识别的签名。这种可分性在按人工设计的分类体系做匹配后依然保留，意味着存在分类体系没有捕捉到的细微差异。签名会往下传：影响用户模型的输出，影响用户模型质量的评测结果，再往下传导到与之配对的 LLM 助手的评测；反过来看，数据集分类器也能用来指导训练用户模型时的数据选择。

实践启示：把多个对话数据集合并训练之前，先跑一次来源分类，可分性就是数据偏差的量化证据。人工分类体系匹配过的数据集仍可被区分，说明对齐标签不等于对齐分布。用户模型的评测结果要标注所依赖的数据集来源，否则跨论文的分数不可比。

小结

五篇论文串起来是一条从内到外的链路：token 层面的监督分配（DIAL-OPD、MetaOPD）→ 样本层面的合成预算投放（Concentration）→ 语料层面的课程与打包（Scratchpads）→ 数据集层面的来源偏差（Signatures）。越往内层，结论越反直觉——删掉六成监督、把预算随便集中、改一个填充默认值，收益都大过继续加数据。做数据工作的人可以照这条链路自查一遍：先确认工程默认值没吃掉信号，再谈筛选与配比，最后才轮到加量。