数据论文速递 · Vol.68

数据论文速递 · 2026年07月06日

本期聚焦预训练数据重复的精确损害量化、多粒度语义去重框架、分类学驱动低质量数据回收，以及神经元感知数据选择——覆盖数据清洗、去重、策展与选择四大方向。

论文速递 arXiv 数据重复 去重 数据策展 数据选择 Scaling Laws 预训练数据 语义哈希 神经元激活

引言

预训练数据从”量”的扩张走向”质”的精炼——本周四篇论文恰好覆盖了数据质量链的关键环节：重复损害量化（多少重复最致命？）、去重工程（如何在大规模语料上高效去重？）、低质数据回收（被丢弃的数据里还有多少宝藏？）、数据选择新范式（用模型内部信号替代外部代理）。从 Stanford 统计组的精确缩放定律到 Amazon 的生产级数据策展，这些工作共同指向一个趋势：数据中心主义从”选什么”进化为”怎么选”。

Internal Data Repetition Destroys Language Models

论文信息：Internal Data Repetition Destroys Language Models · arXiv:2606.24998 · Jessica Chudnovsky, Joshua Kazdan, Noam Levi, Rylan Schaeffer, Yegor Denisov-Blanch, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho (Stanford / Tel Aviv University / IMC Trading)

核心问题：即使经过激进去重，预训练语料仍不可避免地保留重复内容。在 Chinchilla 缩放定律的范式下，如何精确量化重复数据造成的计算浪费？

关键发现：

  1. 非单调损害峰值：固定重复数据消耗的计算量，评估损失在中间重复次数 R 处达到峰值——“中等规模子集重复中等次数”比”大子集少重复”或”小子集多重复”损害更严重。
  2. 峰值缩放定律：峰值重复次数 R_peak 与模型规模 N 呈幂律关系 R_peak ∝ N^{-0.96}，意味着最具破坏性的重复数据量增长速度超过算力增长。
  3. 计算等效损失巨大：当重复文档消耗 10% FLOPs 时，344M 参数 Qwen3 模型的计算等效损失（CEL）达 0.33——相当于只用了 67% 的计算量。
  4. 理论解释：简单的错误设定线性回归（含逐字重复）即可复现定性损失峰值，表明该现象源于记忆化与泛化之间的统计权衡。

实践启示：去重不应仅关注”有没有重复”，更要关注重复的结构（重复次数 R 与重复池大小的组合）。对于大模型，“中等规模重复”是最危险的——提示我们在去重管线中优先处理这类结构。

SemHash-LLM: 多粒度语义哈希去重框架

论文信息：SemHash-LLM: A Multi-Granularity Semantic Hashing Framework for Document Deduplication · arXiv:2607.01601 · Xinyi Fang, Kejian Tong, Jiabei Liu, Tao Ning, Yuhang He

核心问题：大规模文档去重需同时保证语义等价性和处理效率，传统 MinHash/SimHash 无法捕捉深层语义相似性，而神经网络方法在大规模语料上推理成本过高。

关键发现：

  1. 语义投影哈希（SPH）：在蒸馏 LLM 嵌入空间中学习紧凑二进制码，解决传统哈希方法无法识别”汽车制造”与”轿车生产”为语义等价的问题。
  2. 注意力加权 MinHash：抑制模板化废话、强调信息性内容，比标准 MinHash 更精准地识别结构化近重复。
  3. 对比边界学习 + LLM-as-Judge：自适应决策边界处理边界案例，高不确定性样本交由 LLM 裁决，置信度加权集成。
  4. 多粒度融合：字符级、token 级、语义级特征通过门控注意力融合，统一处理模板污染、短文本扰动、包含关系和病毒式传播片段五类去重场景。
  5. 极致效率：级联过滤管线（Bloom filter → 语义哈希阻塞 → 注意力加权 LSH），神经验证成本 < 1%。

实践启示：生产级去重管线应采用”粗筛 + 精排”的级联架构，语义哈希替代传统 MinHash 可显著提升召回率，而 LLM 裁决仅在边界案例激活以控制成本。

Unlocking Latent Value: 分类学驱动低质数据回收

论文信息：Unlocking Latent Value: Taxonomy-Guided Recovery of High-Performing Data from Low-Tier Web Corpora · arXiv:2606.07778 · Neeraj Varshney, Sanket Lokegaonkar, Nasser Zalmout, Qingyu Yin, Priyanka Nigam, Bing Yin (Amazon)

核心问题：主流数据策展管线将文档质量压缩为单一综合评分，系统性地遗漏了评分器权重不足维度上的高价值内容。被丢弃的”低质数据”中还有多少宝藏？

关键发现：

  1. 新维度扩展：在 ESSENTIAL-WEB 分类学基础上引入”时效性”和”文化特异性”两个新维度，与现有维度 NMI 极低（近乎正交），说明确实捕获了被遗漏的信息。
  2. 高效标注管线：14M 文档用 Qwen2.5-32B 标注 → 蒸馏至 0.5B 模型 → 73M MLP 在 E5 嵌入上实现 50 倍推理吞吐，满足语料规模标注需求。
  3. 两轮筛选框架：Pass 1 小规模识别最强维度信号；Pass 2 从顶级维度构建合取/析取复合过滤器，以极低成本找到高优配置。
  4. 令人惊讶的回收效果：
    • 中层数据：最佳过滤器推理 +12.1%、编码 +9.5%、知识 +2.0%，甚至超过未过滤的顶层数据（推理 +6.7%、编码 +13.7%）。
    • 低于生产阈值两层的数据：过滤后推理 +22.3%、编码 +19.5%，编码能力反超顶层数据。

实践启示：单一质量分数是信息瓶颈——多维度分类学过滤能从”废料”中回收高价值数据。对于数据受限场景，这相当于几乎免费地扩大了有效预训练语料。建议所有大规模策展管线从”一维打分”升级为”多维分类+复合过滤”。

NeuFS: 神经元感知主动少样本学习

论文信息：Neuron-Aware Active Few-Shot Learning for LLMs · arXiv:2607.02423 · Zhuowei Chen, Liwei Chen, Christian Schunn, Raquel Coelho, Xiang Lorraine Li (University of Pittsburgh)

核心问题：主动少样本学习（AFSL）依赖输出层信号（预测熵、外部嵌入相似度）选择标注样本，忽略了模型内部动态——而后者可能更精确地定位知识盲区。

关键发现：

  1. 从输出代理到内部信号：利用 MLP 神经元激活模式直接表示样本，替代传统的外部嵌入相似度。
  2. 双标准选择策略：
    • 多样性：基于神经元模式的覆盖度确保 few-shot 样本广度；
    • 信息量：量化神经元共识度（neuron consensus），优先选择模型容易产生幻觉的”信息性+挑战性”样本。
  3. 实证优势：在推理和文本分类任务上均优于现有 AFSL 基线；消融实验证实内部神经元激活比外部嵌入提供更有效、更原则性的选择信号。
  4. 与 Neuron-OPSD 的互补：同作者的 Neuron-OPSD（2607.02460）将类似思路用于无标注自蒸馏，NeuFS 则聚焦于少样本标注场景，形成”神经元感知数据选择”的完整谱系。

实践启示：数据选择不必依赖外部嵌入或输出层代理——模型自身的内部激活模式是更直接、更有效的选择信号。这为”模型自知其不知”的数据策展范式提供了方法论基础。