数据论文速递 · 2026年10月14日

本期五篇分布在数据流水线的不同位置：有挑蒸馏样本的，有压缩评测集的，有把整个数据集蒸馏成一小撮合成样本的，有拿没有标签的人类视频当预训练数据源的，也有回头质问「同名标签在不同语料里是不是一回事」的。它们的结论方向并不一致——有说挑难样本有害，有说只用 5.65% 的数据也能拿到 62.3% 准确率——但靶子是一致的：数据量多少，远不如「这一步到底需要什么数据」来得重要。

少样本蒸馏：靠近教师决策边界的样本是负资产

论文信息：COFFEQA: Counterfactual-Guided Few-Shot Distillation for LLM Question Answering（arXiv:2610.12837，原文链接）

核心问题：少样本蒸馏把教师的知识用有限样本传给小模型，效果高度依赖选了哪几条样本。主动学习的习惯做法是挑教师最不确定的样本，也就是贴着决策边界的那些。作者要检验这条直觉在生成式问答里是否成立。

关键发现：不确定性高的样本越多，蒸馏表现越差。作者改用反事实——对上下文做最小改动，让教师把答案改成另一个。事实样本与反事实样本成对出现，在几何上约束师生决策边界之间的偏离。为此提出 Context Following Difficulty（CFD），在蒸馏之前先验证反事实是否合格：一要看教师是否真的给出预期的替代答案，二要看这个改动是否确实依赖被修改的上下文。T5 与 Qwen2.5 两个模型族、五个同域加三个异域问答基准上，在相同的少样本预算下 COFFEQA 都胜过只用事实样本的蒸馏。T5 设置在 TriviaQA 上用 32 对样本时，EM 提高 8.77 分、F1 提高 9.98 分。

实践启示：挑样本的标准该从「教师有多挣扎」换成「这条能不能给出可验证的监督信号」。CFD 这种先验证、再投入训练的两道门槛，可以直接搬进合成数据与筛选流水线。

评测集也能做重要性采样：271 倍到 611 倍的目标压缩

论文信息：AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis（arXiv:2610.13627，原文链接）

核心问题：AMLworld 最小测试切分上有上百万个目标，每个目标都要单独构造图提示，评测一次的开销极大。随机采样省钱，但小而平衡的子集会改变未加权的 precision 与 F1，让评测结论跟着漂移。

关键发现：做法是保留全部非法交易测试样本，只对正常交易按监督分数分层抽样，再用 Horvitz-Thompson 权重回算。HT-Coreset 协议在 HI-Small 与 LI-Small 上分别把评测目标缩减 271 倍与 611 倍。对固定的预测，HT 权重给出无偏的全测试混淆计数估计：召回是精确的，precision 与 F1 属于比率估计。在发布的规模下，F1 的 RMSE 落在 0.00 到 2.58 个百分点，均匀采样配 HT 权重则是 4.44 到 7.41。留出的验证用 GFP 特征，让一类提升树定义分层去评测另一类，每种配置抽 500 次。七个开源权重 LLM 的加权 precision 都贴近「全部判为非法」这条基线。对 1000 条 HI-Small 少样本输出做结果分层审计，词面检查在正确判定里通过 84.5%，在错误判定里通过 56.2%。

实践启示：评测集约简的公式是「正例全留 + 负例分层 + HT 权重回算」，省下两个数量级的目标还能把 F1 误差压在 2.58 个百分点以内。那组审计数字更值得警惕：错判里还有 56.2% 能通过词面检查，输出形式合规不代表判断正确。

数据集蒸馏的解耦：八分之一合成成本换 5.65% 数据量

论文信息：X-AVDD: Cross-Attentive Audio-Visual Dataset Distillation（arXiv:2610.13687，原文链接）

核心问题：从一个大的配对音视频数据集里合成一个小数据集，并把训练效用几乎保住。已有方法 DM 与 AVDD 显存开销大，难扩到复杂架构和更高的每类样本数，也常保不住跨模态的语义对应。

关键发现：X-AVDD 用交叉注意力在合成过程中显式建模模态间关系，把跨模态对齐从联合优化里拆出来单独做。端到端合成成本降到原来的约八分之一 GPU 小时。VGGSound 上 top-1 从 8.2% 提到 24.0%（每类 10 个样本）、从 9.8% 提到 26.5%（每类 20 个样本）。跨架构泛化上，AVE 数据集的 ViT 目标从 25.5% 提到 35.3%（每类 50 个样本）。扩到 AudioCLIP 这类复杂架构时，只用全量数据的 5.65% 拿到 62.3% 准确率，全量数据是 72.4%，训练时间少 9 倍。

实践启示：把对齐目标从联合优化里拆出来，是数据集蒸馏往更大架构扩的实用做法。5.65% 的数据对应 62.3%、全量对应 72.4%，这条曲线的形状得跟着目标架构一起读，压缩比本身不构成结论。

没有动作标签的第一人称视频：1K 到 5K 小时换来 21.7 个百分点

论文信息：LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos（arXiv:2610.13732，原文链接）

核心问题：通用机器人策略想扩规模，卡在具身交互数据的采集成本上。大规模第一人称人类视频是现成的替代来源，可惜没有机器人动作标签，已有的动作标注方法在真实视觉复杂度和多样的操作动态下噪声偏大。

关键发现：LAPT-Scale-LAM 学的是连续潜动作，靠解释人类视频里帧与帧之间的视觉变化来学，用它们充当来自人类的监督；LAPT-Scale-Policy 走三段流程——人类视频潜动作预训练、目标机器人本体对齐、任务后训练。除像素重建之外，再叠加感知、语义、光流三类对齐信号来改善 transition 级的监督。训练用了 23.3K 小时第一人称视频。标注人类视频从 1K 小时扩到 5K 小时，真机成功率从 63.3% 升到 85.0%，并能泛化到没见过的视觉条件。

实践启示：缺标签的数据源照样能做预训练，前提是把「解释帧间变化」本身设成监督目标，而不是先去补标签。连续潜空间比向量量化更能留下细粒度的运动与交互动态。1K 到 5K 小时换 21.7 个百分点，这条规模曲线可以直接拿去算标注预算。

同名标签不是同一个测量目标

论文信息：Fear Is Not Always Fear: Variation in Emotion Label Equivalence Across Datasets（arXiv:2610.12841，原文链接）

核心问题：情绪分类器经常被拿到训练语料之外的地方使用，前提是假设 fear、surprise 这类同名标签在不同资源里指的是同一件事。作者拿 GoEmotions、XED、BRIGHTER 共有的五个标签检验这个假设。

关键发现：同一批文本上，一个 fear 分类器判 71% 为恐惧，另一个只判 8%，两者对文本的排序却大体一致。30 组「资源—标签」对比里，训练标签的流行度解释了这类尺度失配的约一半，拟合一个截距能消掉大部分。校准修不了的是剩下那一大块：迁移后的模型在聚合上丢掉 55% 的原生区分度，分类器之间排序的一致性与这个损失只有弱相关；到了 surprise，各资源连「哪些文本表达了这个情绪」都不同意。放到两个外部推文集合上，用 BRIGHTER 训练的分类器与用 XED 训练的分类器给出相反结论，即便做了排序归一化，置信区间在两侧都排除零。

实践启示：跨语料合并、配比或迁移之前，先量标签流行度与排序一致性，再决定要不要校准。校准只能修尺度，修不了「哪些样本属于这个标签」这一层的分歧，而这一层的分歧足以让结论整个翻向。

小结

五篇合起来看，数据的位置比数据的量更决定结果。蒸馏阶段挑教师最不确定的样本会掉分，评测阶段留正例、分层抽负例却能省下两个数量级的目标。数据集蒸馏在音视频上做到 5.65% 的数据换 62.3% 准确率，靠的是把对齐目标从联合优化里拆出来；人类视频没有动作标签，靠解释帧间变化就成了可用的预训练监督。至于标签名称相同这件事，本身不构成任何保证——五个标签的跨语料检验显示，校准修得了尺度，修不了「哪些样本属于这个标签」这一层的分歧。