数据论文速递 · 2026年06月08日

引言

本期速递覆盖数据配比、Scaling Laws 理论、预训练过滤公平性与合成数据四个核心方向。TANDEM 用孪生网络求解双层优化实现自动数据配比，Provable Data Scaling Law 从信息论角度给出元学习的缩放定律证明，Epistemic Injustice 审计了预训练过滤器对边缘群体的系统性过度过滤，Synthetic Hallucinations 展示了前沿模型合成负样本的高效管线，π² 则从结构化数据出发构建长上下文推理数据。五篇论文从理论到实践，从公平性到效率，勾勒出大模型数据工程的多维前沿。

---

TANDEM: Bi-Level Data Mixture Optimization with Twin Networks

论文信息：TANDEM: Bi-Level Data Mixture Optimization with Twin Networks · arXiv:2606.04401 · NeurIPS 2025

核心问题：大模型能力高度依赖训练数据配比，但如何自动确定最优领域混合比例仍是开放难题。现有方法要么依赖昂贵的大规模试错，要么理论保证不足。

关键发现：TANDEM 将数据配比问题建模为双层优化，并通过拉格朗日乘子法简化为单层惩罚形式，用一对”孪生网络”求解——代理模型用主数据训练、参考模型用额外数据训练，两者在每个领域上的损失差衡量数据效用。损失差越大的领域，说明增加额外数据带来的收益越大，应上调其配比。该方法统一了 DoReMi（静态参考）和 DoGE（单步更新）为特例，提供了收敛性理论保证。在预训练、SFT 和数据受限场景中均显著优于基线配比方案。

实践启示：数据配比不必依赖昂贵的网格搜索，孪生网络的损失差信号可直接指导领域权重的动态调整；在数据受限和 SFT 场景中，优化配比的收益尤为显著——这提示实际工程中应将配比优化从预训练扩展到全训练流程。

---

Provable Data Scaling Law for Meta Learning via Complexity Minimization

论文信息：Provable Data Scaling Law for Meta Learning via Complexity Minimization · arXiv:2606.02008

核心问题：预训练数据扩展为何能降低下游样本复杂度？现有理论框架无法完全解释这一现象，缺乏对”预训练数据越多→下游适应越快”这一经验规律的形式化证明。

关键发现：论文提出”复杂度最小化”（Complexity Minimization）元表示学习框架——通过评估每个领域最适合的下游模型复杂度，并最小化所有源域的最差复杂度来学习表示。理论分析从预训练到下游回归端到端证明：元训练数据量增长时，少样本适应的错误率确实单调下降。实验表明，将复杂度正则化融入现有元学习方法，可一致提升下游样本效率。

实践启示：Scaling Laws 不仅是经验拟合，复杂度最小化给出了”为什么数据扩展有效”的理论锚点；对实践者而言，加入复杂度正则项是提升预训练数据利用效率的简单有效手段，尤其在少样本场景下收益明显。

---

Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails

论文信息：Epistemic Injustice in Language Models: An Audit of Pretraining Filters and Guardrails · arXiv:2606.05936

核心问题：预训练数据过滤器在移除”不良内容”时，是否系统性地过度过滤了边缘群体的合法表达？这种”认知消除”如何影响模型的知识表征？

关键发现：对四个预训练过滤器和三个推理期护栏的审计发现：过滤决策高度依赖黑名单词汇线索，却频繁漏标包含私人信息或明确仇恨言论的内容。与此同时，跨性别者、女性和中美洲人的表达被所有系统显著过度标记。人类标注者会保留 88.5% 被过滤器标记的内容和 91.3% 被护栏标记的内容，通常能识别出内容移除导致的表征性损害。核心发现是一种”双重认知消除”：边缘群体的表达在预训练前被不成比例移除，在推理时又被再次抑制。

实践启示：数据清洗不是”越干净越好”——当前过滤器过度依赖词汇匹配，导致边缘群体的话语权被双重压制。实践者应审视过滤器的假阳性率，特别是在涉及性别、地域等敏感维度时；同时，护栏与过滤器之间的协同过度抑制问题值得专门评估。

---

Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation

论文信息：Synthetic Hallucinations, Real Gains: Hard Negatives from Frontier Models for FIM Hallucination Mitigation · arXiv:2606.03130

核心问题：代码补全模型常产生”幻觉”——生成语法自然但项目中不存在的 API 调用、变量名和导入。现有缓解方案要么需要语言特定的执行沙箱（无法在打字中实时使用），要么依赖大规模人工标注数据。

关键发现：提出一种免执行的合成数据方案——用三个前沿代码模型生成”看似合理但错误”的补全作为硬负样本，与开发者的真实编辑构成对比信号。管线从公共 GitHub 抓取 8 种语言的 FIM 上下文，按 Delulu 分类体系生成四类幻觉硬负样本，经双路径代码执行验证后形成配对数据集。在 Qwen2.5-Coder-7B 上微调 100K 条精选数据，Delulu 精确匹配提升 +18.8，编辑相似度提升 +0.22，且每个语言和每种幻觉类型均有改善，HumanEval-Infilling 和 SAFIM 也同步提升。5 维消融实验系统拆解了规模、类型混合、语言覆盖、基模型族和难度感知 fool rate 的影响。

实践启示：前沿模型本身可作为”幻觉生成器”，高效产出硬负样本数据；对比学习信号（正确补全 vs. 合成幻觉）比纯 SFT 或 DPO/ORPO 更有效；该管线完全自动化、可复现，适用于任何许可语料，为代码模型的数据策展提供了新的工程范式。

---

π²: Structure-Originated Reasoning Data Improves Long-Context Reasoning Ability of Large Language Models

论文信息：π²: Structure-Originated Reasoning Data Improves Long-Context Reasoning Ability of Large Language Models · arXiv:2604.05114

核心问题：长上下文窗口的扩展并未自动带来长上下文推理能力的提升。现有推理数据集缺乏需要跨多源信息聚合与多跳推理的高质量训练数据，如何从零构建此类数据？

关键发现：π² 提出从结构化数据（Wikipedia 表格）出发构建推理数据的管线：(1) 提取并扩展表格；(2) 基于表格和上下文生成多跳分析推理问题，答案通过双路径代码执行自动验证；(3) 将结构化推理轨迹反向翻译为带有 Web 搜索上下文的自然语言解答。在 gpt-oss-20b 和 Qwen3-4B 上微调后，4 个长上下文推理基准平均准确率分别提升 +4.3% 和 +2.7%。特别地，该数据集支持自蒸馏——gpt-oss-20b 用自身推理痕迹训练后平均性能还能再提升 +4.4%。

实践启示：结构化数据（表格、数据库）是推理数据合成的丰富源头，其答案可程序化验证，解决了合成数据”正确性难保”的核心痛点；反向翻译策略将结构化推理链转化为自然语言 CoT，弥合了机器可验证与人类可读之间的鸿沟；自蒸馏的有效性说明高质量数据可以持续”榨取”模型潜力。