数据论文速递 · 2026年07月14日

引言

7 月 10—14 日 arXiv 上直接聚焦 LLM 数据问题的论文延续了近期的稀疏态势，但横向扫描发现四篇覆盖”清洗→估值→配方→理论”全链路的工作值得注意。H3D 首次为细粒度文档去重建立统一评测基准，揭示词汇哈希与语义哈希的根本权衡；DMVM 将数据估值问题重新表述为模型合并中的任务算术，实现无需重训练的去中心化估值；Soofi S 30B-A3B 虽为模型发布报告，但其全链路数据透明度实践——逐源数据计账、精确混合比例披露——为”数据配方”的可审计性树立了新标杆；Neural Collapse Is Forbidden 从信息论证明模型表示的类内散度不是”不完整的坍缩”而是数据组成的必然信息下界。本期核心发现：数据工程的问题正在从”怎么做”向”怎么证明”演进——去重需要基准验证、估值需要理论基础、配方需要可审计性、表示需要信息论解释。

---

H3D：细粒度文档去重的首个统一基准

• 论文信息：H3D: Benchmarking Unsupervised Text Hashing for Fine-Grained Document Deduplication · arXiv:2607.08382 · Qianren Mao, Jiaxun Lyu, Junnan Liu, Zhijun Chen, Jingzheng Li, Hanwen Hao, Bo Li · cs.IR · 2026-07-09

• 核心问题：大规模语料去重是预训练数据管线的关键步骤，但现有哈希方法（MinHash、SimHash、Winnowing 等）从未在统一协议下针对细粒度科学文档进行系统性比较——不同方法各说各话，实践中难以选择。

• 关键发现：

  1. 效率-语义根本权衡：词汇/结构指纹（MinHash、SimHash、Winnowing、FuzzyHash、FlyHash）在近重复检测上竞争力强且计算高效；语义敏感表示（BGE 嵌入 + 量化策略 BGE-BIHash / BGE-LSHash）在内容改写场景下更好保留相似性，但计算成本显著更高。
  2. 科学文档的特殊性：在 CSFCube（计算机科学面级分析）和 RELISH（生物医学大规模分割级评估）两个互补数据集上，不同方法的排名表现差异显著——面向近重复的哈希方法在改写检测上失灵，反之亦然。
  3. 相似度度量等价性分析：首次系统分析不同相似度度量在特定哈希表示下何时变得秩等价，提升了方法比较的可解释性和可复现性。

• 实践启示：预训练语料去重不存在”万能哈希”，应根据下游场景（近重复 vs 改写检测）选择策略。对于需要细粒度语义去重的场景（如科学文献），纯词汇方法不够，但语义方法的高成本需要用级联过滤（如 SemHash-LLM 提出的先词汇后语义）来缓解。H3D 基准为这一工程决策提供了首次系统化的量化依据。

---

DMVM：基于模型合并的去中心化多任务数据估值

• 论文信息：Efficient Decentralized Multi-task Dataset Valuation via Model Merging · arXiv:2607.03346 · Mohammadsajad Alipour, Mohammad Mohammadi Amiri · cs.CL · 2026-07-03

• 核心问题：数据估值（data valuation）是数据市场的基石，但现有 Shapley 值和重训练方法面临两大瓶颈：(1) 仅适用于单任务，无法处理买方需要跨多任务优化的场景；(2) 计算昂贵且依赖中心化协调，不适合隐私敏感的去中心化环境。

• 关键发现：

  1. 任务算术替代重训练：DMVM 不重训练模型，而是利用任务算术（task arithmetic）从模型组合中推断数据集贡献——不同数据集训练的模型在参数空间中的组合方式直接揭示了各数据集的边际效用。
  2. 去中心化安全聚合协议：引入安全聚合协议使多方协作估值无需暴露个体模型参数或私有数据，首次实现了隐私保护下的可扩展数据估值。
  3. 理论误差界：给出了 DMVM 近似质量的理论误差界，证明任务算术推断的估值在多任务泛化行为上的对齐性。

• 实践启示：随着数据市场从”单任务单买方”走向”多任务多贡献方”，数据估值需要同时处理多任务对齐和隐私约束。DMVM 的任务算术思路暗示了一个更深层的机会：模型权重的几何结构本身就是数据贡献的指纹——这与 WARP（Vol.66）从权重空间反推数据配方的思路形成呼应。当数据溯源和估值成为合规要求时，无需重训练的估值方法将显著降低审计成本。

---

Soofi S 30B-A3B：27 万亿 token 的数据配方透明度实践

• 论文信息：A Sovereign, Open-Source Foundation Model for German and English · arXiv:2607.09424 · The Soofi-Team (Benedikt Droste, David Fitzek, Maximilian Idahl 等 30 人) · cs.CL · 2026-07-10

• 核心问题：当前大多数开源模型只发布权重，训练数据的来源和配比作为核心商业秘密被保留——这造成了”访问不对称”：研究者研究模型，却无法了解产生该模型的训练分布。对于非英语语言（尤其是德语），这一不对称更加严重。

• 关键发现：

  1. 全链路数据透明度：Soofi S 发布了权重、中间检查点、逐源数据计账（full per-source data accounting）、超参数、训练和评估代码。商用许可来源以汇总统计和精确混合比例记录——这是目前开源模型中数据透明度的最高标准。
  2. 27T token 的刻意德语加权：约 27 万亿 token 的预训练语料中刻意加大德语数据权重，使 MoE 30B/3B 激活参数模型在德英语文基准上匹配稠密 14-27B 模型，代码能力在 17 个开源基座模型中双语均为最优。
  3. “主权 AI”基础设施：端到端在德国工业 AI 云（Deutsche Telekom 慕尼黑运营）上构建，证明非美基础设施可以完成从数据构建到模型训练的全流程。

• 实践启示：Soofi S 的数据透明度实践指向一个趋势——数据配方可审计性正在成为开源模型的竞争维度。当 EU AI Act 要求披露训练数据信息时，逐源数据计账将从”加分项”变为”及格线”。其刻意德语加权的成功也再次验证了一个经验法则：对于非英语语言，数据配比主动倾斜比被动等量更高效，且不会损伤英语能力。

---

Neural Collapse Is Forbidden：语言模型的信息下界

• 论文信息：Neural Collapse Is Forbidden: Information Floors in Language Models · arXiv:2607.09487 · Bruno Abrahao · cs.LG · 2026-07-10

• 核心问题：语言模型表示中的类内方差（within-class variance）常被解读为”不完整的神经坍缩”——即模型尚未收敛到理想状态。本文挑战这一解读，提出类内方差不是缺陷，而是模型必须分配的信息存储，并且其分配遵循一条可证明的定律。

• 关键发现：

  1. 信息下界定理：证明在二分类情况下，类内散度至少与条件互信息 I(token; context | category) 成正比——模型不可能完全坍缩，因为数据本身要求模型保留类内信息。
  2. 79-91% 的表示方差承载上下文信息：跨 14 个模型、100 倍参数范围，宏类别结构仅承载 4-12% 的表示方差，而 token 级上下文承载 79-91%——这一比例在参数规模增长下保持稳定。
  3. 恒等散度追踪信息：不是总方差，而是”恒等散度”（identity dispersion）精确追踪跨模型的信息量——一个模型的信息量甚至可以预测另一个模型的散度，揭示了数据组成与模型表示之间的深层对应。
  4. 预训练动态的三阶段：类别份额在预训练中先过冲、后衰减、再部分恢复，因为它必须承载的信息从未离开。

• 实践启示：这篇论文为”数据组成如何决定模型表示”提供了首个定量定律。其核心洞察——模型表示的方差结构是数据信息需求的自映射——对数据工程有两层含义：(1) 如果你改变数据组成（如加入更多代码），你可以预期表示空间的方差分配将随之变化，而非简单”更坍缩”；(2) 评估数据配方时，不应只看下游指标，还应检查模型内部是否”被迫”保留了数据要求的信息量——这为数据质量审计提供了表示层面的新工具。