数据论文速递 · 2026年07月03日

本期速递覆盖数据配比、数据合成、数据清洗与数据污染检测四大方向。CausalMix 将数据混合建模为因果推断问题，实现了跨数据池的配比迁移；CLI-Universe 提出可验证的任务合成引擎，仅 6K 轨迹即超越 480B 模型；OpenThoughts-Agent 通过 100+ 消融实验系统解构 Agent 数据策展流水线；Provenance-based Redundancy Decomposition 揭示 LLM 生成语料中近 80% 为冗余内容；UBD 提出基于不确定性的基准去污染方法，无需干净模型即可修正污染偏差。

---

CausalMix: Data Mixture as Causal Inference for Language Model Training

• 论文信息：CausalMix: Data Mixture as Causal Inference for Language Model Training，arXiv:2607.01104，2026年7月1日

• 核心问题：现有数据混合优化方法依赖代理模型和静态数据分布假设，当底层数据池发生变化时需要从头重训，无法从实验规模无缝迁移到更大规模的数据池和模型。

• 关键发现：将数据混合优化建模为因果推断问题，将数据池的统计特征作为协变量、域混合比例作为处理变量，通过在 512 次 Qwen2.5-0.5B 训练运行上拟合因果模型估计条件平均处理效应 (CATE)，成功外推至 800K 数据池上的最优混合方案并用于训练 7B 模型。框架还成功推广到 Qwen3-4B-Base 的长链推理数据上。通过因果建模隔离混淆偏差，CausalMix 动态推断状态依赖的最优数据混合，在多个下游任务上持续优于 RegMix 等基线。CATE Interpreter 还提供了混合策略的可视化分析。

• 实践启示：因果推断视角为数据配比提供了可解释、可迁移的理论框架。当数据池构成变化时，无需重新做大规模实验，只需基于因果模型推断新状态下的最优配比。对于需要频繁调整数据来源的实际预训练场景，这种方法可大幅节省搜索成本。

---

CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents

• 论文信息：CLI-Universe: Towards Verifiable Task Synthesis Engine for Terminal Agents，arXiv:2606.22883，2026年6月，南京大学 & 阶跃星辰 & 上海AI实验室

• 核心问题：终端智能体 (Terminal Agent) 的高质量训练数据严重不足。现有数据合成方法多是在开源仓库或执行轨迹表面”修修补补”(Retrofitting)，生成的任务指令含糊、执行路径浅、测试环境脆弱，难以提供强学习信号。

• 关键发现：提出”自内而外”的多阶段过滤机制——能力分类采样 + 证据导向深研 + 多阶段可执行验证。构建四维能力分类学坐标系进行交叉抽样；研究智能体搜索真实技术材料锚定任务规范；部署提示条件过滤和 fail-to-pass 检查确保任务真实可解。整个流水线淘汰约 2/3 低质候选。仅 6K 精炼轨迹微调的 CLI-Universe-32B 在 Terminal-Bench 2.0 上达到 33.4% 准确率，超越 480B 的 Qwen3-Coder (23.9%) 和万亿参数级 Kimi-K2-Instruct (27.8%)。

• 实践启示：高质量数据不等于大规模数据。通过严格的可执行验证流水线，少量精炼数据即可实现超越量级差异的性能。数据合成的核心不是”造更多”，而是”筛更准”——证据导向深研和可执行验证是保证合成数据质量的关键环节。

---

OpenThoughts-Agent: Data Recipes for Agentic Models

• 论文信息：OpenThoughts-Agent: Data Recipes for Agentic Models，arXiv:2606.24855，2026年6月23日，Stanford & UC Berkeley & Harvard 等数十家机构

• 核心问题：智能体模型的训练数据策展几乎是行业黑盒——即便是 DeepSeek 的 50+ 页技术报告也仅用两段话描述训练数据。现有开源数据集 (SWE-Smith、SERA、Nemotron-Terminal) 各自只瞄准单一基准，如何训练泛化到多种 Agent 任务的模型？

• 关键发现：通过 100+ 消融实验系统解构数据策展六步流水线，获得多项反直觉发现：(1) 最强的教师模型不一定产生最好的训练数据——GPT-5.3-Codex 因轨迹过于简练反而效果差，而较弱的 GLM-4.7-AWQ 因提供更详细的探索步骤提升了 5 个百分点；(2) 保留更多模型轮次的执行轨迹能改善训练集质量；(3) 重复使用少数数据源收益递减，扩展数据来源增加多样性更有效。最终训练的 OpenThinkerAgent-32B 在七个 Agent 基准上平均 44.8%，超越 Nemotron-Terminal-32B 达 3.9 个百分点。

• 实践启示：Agent 数据策展中，“最好的教师 ≠ 最好的数据”。模型需要包含纠错过程的完整解题轨迹，而非直接给出最优解。数据多样性比数量更重要——扩展数据来源比重复使用少数来源更有效。整套方案已开源 (openthoughts.ai)，可直接复用。

---

How Much of an LLM-Generated Corpus Is Actually New? Provenance-Based Redundancy Decomposition

• 论文信息：How much of an LLM-generated clinical corpus is actually new?，arXiv:2606.29605，2026年6月28日

• 核心问题：临床机器学习越来越依赖 LLM 生成的训练语料，这些语料通常以其报告规模来描述和复用。但 token 数量是否真正反映信息含量？LLM 生成的语料中有多少是真正的新内容？

• 关键发现：对 167,034 份患者叙事的多智能体临床提取管线完整输出 (25.1 亿 token) 进行来源感知冗余分解 (Provenance-based Redundancy Decomposition)。仅 10.9% 的输出为可训练独特内容，79.4% 为冗余——原始 token 数量夸大信息含量约 9 倍。冗余来自两种机制：将源上下文逐字复制到字段中，以及跨记录重复生成文本。前者可无损去除，后者则不行。基于无损压缩的独立分析验证了这一结论。去重后的语料在同等 token 预算下，在疾病识别基准上显著优于未去重版本。

• 实践启示：LLM 生成语料的”规模泡沫”问题严重——报告的 token 数量可能比实际信息量高一个数量级。在构建训练集时，必须主动审计冗余来源和程度，而非仅看原始 token 数。去重不仅节省存储，还直接影响下游性能，因为未纠正的冗余会让更长、更复杂的样本获得不成比例的权重。

---

UBD: Uncertainty-Based Debiasing and Unlearning for Decontamination

• 论文信息：Uncertainty-based Debiasing and Unlearning for Decontamination，arXiv:2606.23313，2026年6月22日

• 核心问题：基准数据污染虚增了 LLM 评估性能。现有去污染方法仅通过聚合准确率评估，掩盖了样本级行为差异，且多数需要访问未污染模型——这在实践中几乎不可得。

• 关键发现：提出样本级去污染评估框架，以分布距离度量补充准确率评估，衡量去污染后模型在每个样本上多接近未污染模型的输出分布。基于此框架，引入 UBD 方法族——利用被污染模型的深度集成估计样本级记忆程度，无需未污染模型或污染样本标注。从集成不确定性估计逐样本修正标量，构建去偏目标分布以抑制污染引起的正确答案概率膨胀。可用于事后输出修正 (去偏) 或参数更新的软训练信号 (遗忘)。在 MMLU-Pro 和 MATH-MCQA 上，UBD 使逐样本输出分布显著更接近未污染模型，同时保持未污染数据上的性能。

• 实践启示：数据污染审计不应只看聚合准确率——样本级分布分析能揭示更细微的污染影响。利用模型集成的内部不确定性即可估计污染程度，无需”干净对照模型”。去污染可以”软”做（输出修正）或”硬”做（参数遗忘），两种路径各有适用场景。