数据论文速递 · 2026年07月04日

引言

数据工作的瓶颈到底在哪儿？本周的五篇论文从不同角度挑战了既有假设。HERMES 认为数据配比的瓶颈不在 mixer 而在 label system，提出层级化标签基座；WARP 反过来问——已发布模型的权重里是否藏着训练数据配方的几何足迹？FSS vs SE 则将合成数据的缩放拆成两条轴，发现”多生成”并非万能药；Neuron-OPSD 从神经元激活密度中找到数据选择的内部信号，无需任何外部标注；DWM 则用双层优化捕捉训练过程中动态变化的数据偏好。五篇论文共同指向一个趋势：数据工作正从静态的”选好一次”走向动态的”持续适配”。

---

HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures

论文信息：HERMES: A Multi-Granularity Labeling Substrate for Pre-training Data Mixtures，arXiv:2607.02266，Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li（Wizard Quant / 北京大学 / 中科大）

核心问题：数据配比方法（RegMix、DoReMi 等）都假设语料已经被分好组，但现有标签系统——无论是来源标签、主题分类还是扁平聚类——都绑定在单一语义轴和单一粒度上，换粒度就要重新标注。配比优化器的表达力受限于标签系统，而非优化器本身。

关键发现：

• HERMES 通过 Learned Semantic Transform + 三阶段残差向量量化（RVQ），一次性为每个文档生成从粗到细的层级编码，前缀长度即粒度（256 → ~65K → ~130K 单元），无需重新聚类。
• 在 1B 参数、25B token 的预训练实验中，层级标签暴露了固定粒度管线无法看到的交互效应：在 L12 粒度下，等量覆盖 vs 按质量 Top-30% 采样之间的差距显著（+0.0253 宏平均）；但到 L123 更细粒度时，同一规则的差异消失（候选池收缩约 5 倍后排名不再稳定）。
• 粗粒度下 HERMES 与 KMeans 聚类效果持平，核心贡献是”一次标注、多粒度复用”的基座设施。

实践启示：数据配比的真正瓶颈可能不是如何调权重，而是如何定义”组”。HERMES 的层级标签让配比实验可以在不同粒度间无缝切换，且揭示了”粒度-采样策略”的联合效应——在粗粒度有效的策略到细粒度可能失效。对于大规模预训练管线，投资标签基座比反复调参更值得。

---

WARP: Weight-Space Analysis for Recovering Training Data Portfolios

论文信息：WARP: Weight-Space Analysis for Recovering Training Data Portfolios，arXiv:2607.01686，Tzu-Heng Huang, Aditya Goyal, John Cooper, Frederic Sala

核心问题：基础模型频繁公开发布权重，但训练数据配方（如领域混合权重）几乎从不公开。成员推断只能检测单个样本是否在训练集中，无法刻画训练语料的整体组成。能否直接从模型权重反推训练数据的领域混合比例？

关键发现：

• WARP 利用模型合并（model merging）在基础模型和微调模型之间插值，生成伪检查点来近似缺失的训练轨迹，暴露训练数据在权重空间中的几何足迹。
• 从模拟足迹中提取几何特征，通过无参数 softmax 读出或 MLP 投影器映射到领域比例。在 BERT 和 GPT-2 的受控实验中，WARP 恢复领域混合比例的平均 MAE 低至 0.046 和 0.104，优于成员推断方法，甚至优于拥有真实训练轨迹的变体。
• 这意味着训练数据配方的”指纹”确实留在了权重空间的几何结构中。

实践启示：WARP 为模型透明性提供了新工具——即使数据配方不公开，也能从权重中大致推断。对模型开发者而言，这意味着训练数据配方并非真正的”商业机密”；对研究者而言，这为理解不同模型的训练策略差异提供了逆向工程路径。该方法的局限性在于目前仅在 BERT/GPT-2 等小模型上验证，大模型的可扩展性有待检验。

---

When Does Generating More Help? Disentangling Fixed-Source Synthesis from Source Expansion in Synthetic Data Scaling

论文信息：When Does Generating More Help? Disentangling Fixed-Source Synthesis from Source Expansion in Synthetic Data Scaling，arXiv:2607.01727，Xu Guo, Jian Tong, Zhihui Lu, Qipeng Guo

核心问题：合成数据缩放有两条路径——源扩展（Source Expansion, SE，增加种子问题或生成器）和固定源合成（Fixed-Source Synthesis, FSS，固定种子池和教师模型，只增加每个问题的响应预算）。现有研究通常将二者混为一谈，FSS 这条轴的缩放行为几乎是盲区。

关键发现：

• 固定源和教师模型、仅增加 Rejection Sampling 每题响应数时，FSS 遵循修正缩放定律（rectified scaling law），且从低预算拟合的公式能准确预测最高预算的性能。
• 在相同总样本预算下，小预算时 SE 和 FSS 效果相当；大预算时，增加种子问题明显优于用同等预算生成更多响应。
• 在 FSS 内部，无论是从现有种子合成更多问题，还是更换合成协议，都无法在同等预算下超越简单的 Rejection Sampling。FSS 是一条有界缩放轴。

实践启示：对合成数据工作而言，这是极其务用的发现——“多生成”并非无限有效。当预算有限时，投资新种子（SE）比在固定种子上多采样（FSS）回报更高。FSS 可作为合成协议比较的受控环境：在 FSS 下打不赢 RS 的协议，在 SE 下也不会更好。

---

Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

论文信息：Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation，arXiv:2607.02460，Zhuowei Chen, Xiang Lorraine Li（University of Pittsburgh）

核心问题：无标注的自进化方法（如 SFT/GRPO 变体）容易导致域外性能退化，基于奖励的在线 RL 则会膨胀校准误差。能否利用模型内部神经元激活信号来指导数据选择和教师构建，实现无标注自蒸馏？

关键发现：

• 神经元共识（Neuron Consensus）：激活神经元数量越多的查询，幻觉率越高——稀疏激活意味着网络内部共识强，模型确信；密集激活意味着内部冲突和不确定性。
• 基于此提出 Neuron-OPSD：用神经元激活密度筛选低幻觉样本，用神经元重叠检索构建 few-shot 上下文作为教师信号，再通过 on-policy 蒸馏训练学生模型——全程无需任何 ground-truth 标注。
• 在专业领域基准上，Neuron-OPSD 在提升域内性能的同时保持跨域泛化，并缓解了校准坍缩问题。

实践启示：神经元激活密度为数据选择提供了一个”内部信号”——无需外部模型、无需标注，直接从模型自身状态判断样本的可靠性和学习价值。这对标注稀缺的专业领域（医疗、法律等）尤其有意义。但需注意：高激活样本虽然噪声大，也可能具有更高学习价值——数据选择需要在”干净”和”有用”之间权衡。

---

LLM Data Selection and Utilization via Dynamic Bi-level Optimization

论文信息：LLM Data Selection and Utilization via Dynamic Bi-level Optimization，arXiv:2507.16178，Yang Yu, Kai Han, Hang Zhou, Yehui Tang, Kaiqi Huang, Yunhe Wang, Dacheng Tao（ICML 2026）

核心问题：现有数据选择方法大多基于静态的、训练无关的标准，无法捕捉模型训练过程中动态变化的数据偏好，也无法建模同一批次中不同样本的联合效应。选好了数据，但怎么”用”好同样重要。

关键发现：

• 提出 Data Weighting Model（DWM），在训练的每个批次内对已选数据动态赋权，实现数据的”精细化利用”而非仅仅”筛选”。
• 通过双层优化框架更新 DWM：内层用加权数据训练 LLM，外层通过链式法则优化 DWM 以最小化验证集损失。DWM 在训练不同阶段被反复学习，捕捉动态数据偏好。
• 用随机选择数据 + DWM 训练的 370M 模型，优于精心选择数据训练的模型；学到的 DWM 可迁移到 1.3B 模型和其他数据选择方法，均带来一致提升。
• 分析揭示了训练过程中数据偏好的演变规律，为理解模型学习动态提供了新视角。

实践启示：数据选择和数据利用是两个正交维度——选对了数据但如果在训练中等权使用，仍然次优。DWM 证明了”动态赋权”是对”静态筛选”的有效补充。实际操作中，DWM 作为即插即用模块，可以叠加在任何数据选择方法之上，成本可控但收益显著。训练早期和晚期对数据偏好不同，这一发现也提醒我们：一劳永逸的数据配方可能不存在。