数据论文速递 · 2026年09月03日

本期五篇围绕同一个不太好回答的问题：训练数据里究竟有多少东西真的进了模型。前两篇给出了两个方向相反的答案——模型拿到的条件多样性系统性低于数据本身，而训练数据归因真正能撬动行为的样本又少得出奇。后面三篇分别是三条绕路：不做海量合成 QA 也能注入知识、把”无标签”这个说法拆开看背后的人工筛选、以及给九种合成数据生成器做一次公平性对照。

模型生成输出的条件熵低于它的训练数据

论文信息：Do Large Language Models Capture the Diversity in their Training Data?，arXiv:2609.02275，Youqi Wu、Farzan Farnia，2026 年 9 月 2 日提交。

核心问题：语言模型学的是文本的条件分布，但”学到了分布”不等于”学到了分布里全部合理的输出”。这个差距有多大，一直缺少可计算的度量——常规做法需要同一个 prompt 配多个参考输出，而现实语料里没有这种东西。

关键发现：作者用条件熵以及基于 von Neumann 熵的矩阵类比，比较模型生成输出的条件熵与对应训练数据的条件熵，绕开了”同一输入多个参考”的要求。在训练数据公开的 OLMo、Pythia、GPT-Neo 三个家族上，模型侧的条件熵 consistently 低于数据侧，且不同模型规模、序列长度、解码策略下都存在。ImageNet 类别条件生成器和 MS-COCO 文本条件模型上也看到同样的差距。补救方案是事后校正：每个输入生成多个输出，用矩阵熵投影重新加权，作者证明了矩阵条件熵泛函的凹性，使熵约束投影成为凸问题，并给出可规模化的镜像下降算法。

实践启示：这是个可以直接加进数据评估工具链的指标。做蒸馏或合成数据扩充的团队要特别注意：如果教师模型本身存在条件多样性缺口，用它的输出去训学生，缺口会被复制并可能放大。检查方式不复杂——挑一批有真实多参考答案的 prompt，量一下模型输出熵与参考熵的比值，长期跟踪。

相关链接：https://arxiv.org/abs/2609.02275

---

影响函数选出来的样本，重写比加权有用得多

论文信息：From Reweighting to Rewriting: Unlocking the Intervention Effects of Influential Samples in Training Data Attribution，arXiv:2609.02771，Yuzhang Luo、Chenpeng Wang、Jianhui Chen、Liangming Pan，2026 年 9 月 2 日提交。

核心问题：训练数据归因（TDA）想回答”哪些训练样本要对模型的这个行为负责”。影响函数（IF）估计的是无穷小重加权下的行为变化，可一旦真去改权重，IF 挑出的样本相比随机挑选优势并不明显。问题出在选择器，还是出在干预方式？

关键发现：作者把干预方式从重加权换成”影响引导的回复重写”——IF 仍然负责找目标样本，但保持指令不变，只把回复替换成与目标行为一致或相反的监督信号。在四个开源 LLM 上以认知弃权为主要测试平台，重写产生了更强、更持久且双向的行为改变，重加权则弱且不一致。IF 选出的样本相比其他选择器确实提供更大的重写杠杆，且改变集中在目标行为上，这个结论延伸到安全拒绝场景同样成立。

实践启示：TDA 过去被当成”找坏样本然后删掉”的工具，这篇说明它更像是”找杠杆点然后改写”。做数据清洗的团队可以把流程改成两段式：先用归因方法定位高杠杆样本，再决定是删、降权还是重写。尤其是纠正特定不良行为的场景，重写一条反义回复的成本远低于清洗一批数据，效果反而更稳。

相关链接：https://arxiv.org/abs/2609.02771

---

DKL：把知识注入放在基座上，再合并回来

论文信息：DKL: Decoupled Knowledge Learning for Instruction-Tuned Language Models，arXiv:2609.02685，Kushagra Bhushan、Meghanadh Pulivarthi、Sai Krishna Reddy Sathi 等，2026 年 9 月 2 日提交。

核心问题：给指令微调模型补新知识，主流是 RAG，但检索出错就幻觉。RAFT、PA-RAG 这类微调路线要生成覆盖整个语料的海量合成 QA，成本高；直接在指令模型上做扩展预训练（EPT）能避开合成数据，却会削弱指令跟随能力，之后还得再跑一轮昂贵的指令微调找回来。

关键发现：DKL 的做法是把知识学习和指令能力在空间上分开——不在指令模型上做 EPT，而是在它对应的 base 模型上做 EPT 注入新知识，然后把注入了知识的权重与指令模型合并。省掉了事后的指令微调。检索失败案例上，DKL 把 RAG 准确率从 54.17 提到 79.26，用的训练数据显著少于先前方法。

实践启示：给已经对齐好的模型灌领域知识时，别急着在对齐后的权重上继续预训练。“基座上做知识、合并回指令模型”这条路的成本结构完全不同——不需要重新生成合成 QA，也不需要事后修复指令能力。团队如果有 base 权重（自研模型通常有），这几乎是零额外依赖的改造；用开源模型时则要确认同系列的 base 是否可得。

相关链接：https://arxiv.org/abs/2609.02685

---

”无标签”这个标签，掩盖了多少人工筛选

论文信息：Position: Unlabeled IS NOT Equal to No Human Supervision in Visual Learning，arXiv:2609.03077，Dong Lao，2026 年 9 月 2 日提交，ICML 2026。

核心问题：一大批视觉方法都在大规模无标签数据上学表示，被统称为”无监督”。但不同论文的策展方案、过滤规则、训练目标里嵌入的人工先验差别极大，一个术语盖不住这些差异，横向比较因此失真。

关键发现：作者统计发现，自 2021 年以来旗舰视觉会议标题里含 “unsupervised” 的论文急剧下滑，而领域本身还在长——术语在退场，问题没解决。文章主张社区强制披露两件事：数据选择环节引入了哪些先验，学习目标依赖哪些假设，以及流水线里哪些组件依赖哪些假设。作者明确表态支持预训练，矛头指向的是概念模糊而非方法本身。

实践启示：这篇是立场论文，没有新实验，但对数据团队有直接的可操作项——给内部数据集写一份”先验清单”：来源分布、过滤规则、去重阈值、谁标注的、标注依据是什么。跨团队比较数据配方时，这份清单比任何指标都更能解释结果差异。做论文复现时也一样，很多”同样的数据不同的结果”，差异就藏在这些没写出来的筛选步骤里。

相关链接：https://arxiv.org/abs/2609.03077

---

跨九种生成器的合成数据公平性对照

论文信息：Portable Causal Fairness Across Synthetic Data Generator Families，arXiv:2609.03180，Steven Golob、Sikha Pentyala、Martine De Cock，2026 年 9 月 2 日提交。

核心问题：DECAF 曾证明三种公平性定义可以转化成生成器因果图上的三组边切割，但那只在一个非隐私 GAN 上验过。这个机制到底属于 DECAF 这个实现，还是属于因果分解本身？换到别的生成器家族还成立吗？

关键发现：作者把三种公平性定义移植到三个互不相关的生成器家族（边际分布类、GAN、扩散，各含差分隐私变体）共 9 个生成器，在 Adult 和 COMPAS 上跨三级形式隐私保证做了 2520 组配对运行。机制在所有家族上都成立；新提出的因果扩散主干产生了测试中最公平的发布，保真度接近边际分布层。施加切割对保真度影响很小，下游分类器平均只损失约 0.07–0.15 AUC。一个反直觉的结论：加上隐私保证并不会让数据变得更不公平。

实践启示：发布合成数据替代敏感记录时，公平性不必绑定某一个生成器家族——这是一条可以在选型阶段就写进验收标准的性质。对必须对外发布脱敏数据的团队，代价估算也有参考：换取公平性大约损失 0.1 个 AUC 的下游效用，且不必为了公平性放弃差分隐私。

相关链接：https://arxiv.org/abs/2609.03180