数据论文速递 · 2026年05月25日

引言

数据质量是大模型能力的基石，而数据污染正日益侵蚀评估的公信力。本期速递聚焦数据污染治理与数据门控两大主题：

• 数据污染方向两篇论文从不同角度应对基准泄露问题——一篇揭示推理链如何遮蔽模型对污染数据的记忆并提出截断检测方法，另一篇则在多模型评估场景下提供可证明的联合去污染保障。
• 数据门控方向一篇论文深入分析自博弈RL中数据准入门控与奖励信号的不对称性，指出数据门控是训练稳定性的核心约束，而非奖励校准。
• 数据生成方向一篇论文提出基于能力子空间投影的自策略蒸馏框架，无需外部信号即可生成高质量训练数据。
• 数据选择方向一篇论文将反事实干预引入短语级数据质量评估，在视觉-语言预训练中实现细粒度的组合式数据选择。

---

The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation

论文信息：arXiv:2605.21856 | cs.LG | 2026-05-21

核心问题：当模型发布者通过转述（paraphrasing）等规避式策略污染基准数据时，现有检测方法为何失效？如何可靠检测这类隐性数据污染？

关键发现：

• 揭示了一个关键现象：模型生成的推理步骤（CoT）会主动遮蔽其对污染数据的底层记忆。推理链越完整，记忆信号越弱，使得基于生成内容的检测方法失效。
• 提出 Zero-CoT Probe（ZCP） 方法：故意截断整个推理链，迫使模型直接输出答案，暴露其潜在的记忆捷径映射。将模型在原始基准与同构扰动参考集上的零CoT表现进行对比，即可隔离记忆与推理能力。
• 引入 Contamination Confidence 指标，超越简单的二元分类，量化污染的可能性和严重程度。
• 在已知污染模型和专门微调的规避式污染模型上均验证了 ZCP 的有效性。

实践启示：数据污染检测不能依赖模型”自觉”暴露记忆——推理链本质上是记忆的伪装层。在实际评测中，应将 ZCP 式零推理检测纳入标准流程，特别是对声称高性能的模型需要额外验证其是否通过规避式污染获得虚假提升。

---

Provable Joint Decontamination for Benchmarking Multiple Large Language Models

论文信息：arXiv:2605.21543 | cs.LG | 2026-05-20

核心问题：当多个LLM同时参与评估时，如何保证跨模型比较的公平性？单独对每个模型做去污染会产生模型特异性基准集，破坏跨模型可比性。

关键发现：

• 将多模型基准去污染形式化为联合选择问题：需要找到一个公共基准集，使其对所有被评估模型的全局污染率（GCR）均得到控制。
• 提出 JECS（Joint Envelope Conformal Selection） 方法：为每个模型计算共形p值，按逐项最大值聚合，并从右尾观测重构最大p值零分布的保守包络线。再使用自适应 BH 程序对包络缩放后的值进行选择，实现可证明的 GCR 控制。
• 与逐模型分别去污染相比，JECS 产生一个统一的基准集，确保跨模型比较的公平性。
• 实验表明 JECS 在保持目标 GCR 控制的同时，比 max-p 基线具有更高的检测功效。

实践启示：在构建Leaderboard或多模型评估平台时，不能对各模型独立去污染——这会导致”各说各话”的基准集。JECS 提供了一种有理论保证的联合去污染方案，确保评估结果的可比性和公平性，对AI评测基准运营方具有重要参考价值。

---

Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL

论文信息：arXiv:2605.22217 | cs.LG | 2026-05-21

核心问题：自博弈强化学习（Self-Play RL）中，模型经常出现训练坍缩，现有方法倾向于将其视为奖励设计问题。但数据门控（决定哪些任务进入训练池）与奖励信号（如何更新策略）哪个才是稳定性的核心约束？

关键发现：

• 两大杠杆存在根本性不对称：严格的数据门控在任何奖励变体下都足以维持稳定（包括无需真值的自一致性奖励），而移除门控后没有任何奖励变体能防止坍缩。数据门控是稳定性的约束瓶颈，而非奖励校准。
• 发现反直觉的 Grounded Proposer Paradox：拥有真值访问权限的提议者反而比无真值提议者更快导致坍缩——因为真值引导提议者集中在”干净”任务上，而这些干净任务恰好构成了通往虚假自一致性吸引子的最低阻力路径。
• 将二值门控替换为连续严格性参数 ε 后，揭示了两阶段相变：训练侧指标在低 ε 时即解耦，但验证准确率要到 ε 大幅提高后才崩溃。

实践启示：在自博弈或自动课程学习框架中，数据准入控制远比奖励信号设计更关键。不要花大量精力调校奖励而忽视数据管线——一个严格但合理的门控机制才是防止坍缩的第一道防线。这也意味着后训练数据质检中”数据准入”环节的设计应获得比”数据权重”更高的优先级。

---

Self-Policy Distillation via Capability-Selective Subspace Projection

论文信息：arXiv:2605.22675 | cs.CL | 2026-05-21

核心问题：现有自蒸馏方法要么依赖外部信号（如正确性过滤、执行反馈），成本高且不适用于前沿模型；要么直接使用原始自生成数据，容易混入风格和格式噪声。如何在无外部信号的情况下生成高质量训练数据？

关键发现：

• 提出 Self-Policy Distillation（SPD）：从定义正确性的token梯度中提取低秩能力子空间，在自生成时将KV激活投影到该子空间，再用标准next-token loss微调。
• 核心创新在于”能力选择性”：不是简单地过滤错误样本，而是在生成过程中通过子空间投影选择性保留与任务能力相关的信息，抑制风格和格式噪声。
• 在代码、数学和选择题任务上，SPD 相对无外部信号基线最高提升 13%，较预训练模型最高提升 16%，且泛化性更强。
• 方法无需任何外部监督信号、奖励模型或执行反馈，适用于封闭模型。

实践启示：自蒸馏不一定需要外部裁判——模型自身的能力结构（通过梯度提取的能力子空间）就可以指导高质量训练数据的生成。这对后训练数据质检V2工具的设计有启发：可以利用模型内部的能力表征来评估和筛选训练数据质量，而非仅依赖外部指标。

---

What Does the Caption Really Say? Counterfactual Phrase Intervention for Compositional Data Selection in Vision-Language Pretraining

论文信息：arXiv:2605.22651 | cs.CV | 2026-05-21

核心问题：CLIP式对比预训练中，样本级对齐过滤信号在粗筛后即饱和——全局对齐分数无法区分”配对大致合理”与”标题中每个短语都真正支撑图文匹配”。如何实现短语级细粒度数据选择？

关键发现：

• 揭示对齐信号饱和现象：一旦粗粒度不匹配被移除，更严格的全局过滤不再跟踪标题的组合式监督信号。全局分数混淆了”配对是否大致合理”与”标题中每个短语是否实质性支撑匹配”。
• 提出 Counterfactual Phrase Intervention（CPI）：将受控的nonce-token替换转化为图像条件短语敏感性分数。CPI 仅用全局对齐做粗筛，然后通过受控替换衡量每个标题短语对图文匹配分数的可测影响来排序。
• 在CC3M规模上，CPI排序的50%数据子集在 VL-CheckList-VG Relation 上比全数据基线提升 +1.91，比仅用对齐过滤提升 +1.00，同时改善 SugarCrepe 整体表现并保持通用迁移能力。
• CPI 是损失正交的：原封不动地应用于 NegCLIP，进一步改善 VL-CheckList-VG Relation +3.84。

实践启示：数据质量评估需要从”样本级”下沉到”成分级”。一个样本整体看起来高质量，不代表其每个组成部分都有价值。反事实干预的思路——通过可控扰动测量各成分的边际贡献——同样适用于LLM预训练数据的细粒度质量评估，可以帮助识别看似高质量但实质信息密度低的文档。