数据论文速递 · 2026年05月28日

本期精选 5 篇最新 arXiv 论文，覆盖数据策展的几何视角（GEM）、模型自驱合成数据管线（Self-Verified Distillation）、多维度统一缩放定律（UNSL）、噪声感知 SFT-RL 混合控制（GAC）和预训练数据暴露统一框架（PDE Survey）。从预训练数据混合到后训练信号融合，从合成数据自验证到数据安全审计，本期论文呈现了数据工程从”经验驱动”走向”原理驱动”的清晰趋势。

---

GEM: Geometric Entropy Mixing for Optimal LLM Data Curation

论文信息：GEM: Geometric Entropy Mixing for Optimal LLM Data Curation，arXiv:2605.26121，投稿 ICML 2026

核心问题：LLM 预训练的数据混合效果越来越取决于数据组成而非数据量，但现有的数据分类体系存在根本缺陷——人工分类法存在本体论错位（ontological misalignment），而欧几里得聚类无法处理嵌入的各向异性（anisotropy），导致聚类坍缩和语义结构丢失。

关键发现：

• 将数据策展重新定义为超球面上的变分优化问题，引入混合平衡正则化项，从根本上对抗聚类坍缩
• 通过解耦生成先验 + 可证明的 MM（Minorize-Maximize）算法优化目标，发现欧几里得启发式方法无法看到的平衡语义结构
• 利用 teacher-student 蒸馏将几何保真度扩展到网络规模语料库，引入 Geometric Influence Score（GIS）实现可解释的类别体系生成
• 在 1.1B 参数模型上，GEM 集成到 DoReMi 和 RegMix 后建立新 SOTA，下游平均准确率提升最高 1.2%

实践启示：数据混合的瓶颈不在算法而在坐标系——欧几里得空间下的聚类天然偏向高频密集区域，GEM 提供了一种在超球面上发现平衡语义结构的几何路径。对于大规模预训练数据混合，这一”先修坐标系再搜配比”的思路值得借鉴，尤其是 GIS 评分可以作为数据质量标注的可解释替代。

---

Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline

论文信息：Self-Verified Distillation，arXiv:2605.26132

核心问题：后训练阶段的 LLM 能否在无外部教师、无工具反馈、无标注答案的情况下自我改进？如何仅利用无标签种子问题构建高质量合成训练数据？

关键发现：

• 提出 Self-Verified Distillation：模型自行生成候选解，通过三阶段级联自验证（循环一致性 → 事实性 → 正确性）过滤，只有全部通过且判官一致同意的解才被接受
• 采样更多候选生成 + 更大验证预算 = 更高质量的自筛选数据 → 更好的推理模型
• Qwen3-4B 在数学推理提升 +16.7（AIME26/HMMT），科学推理提升 +11.1（GPQA Diamond/HLE），代码推理提升 +8.3（LCBv5/v6），0.6B 和 8B 规模同样获益
• 相比推理时增加计算量的基线（UQ-TTC），在多数场景下表现更优且测试时仅需单次推理

实践启示：语言模型本身就是自己的合成数据管线——核心不是”用什么模型生成数据”，而是”如何验证数据质量”。三阶段级联自验证的思路可以低成本地扩展到任何推理领域，尤其适合缺乏标准答案的开放域推理数据构建。验证预算的投入比生成预算更重要。

---

Unified Neural Scaling Laws

论文信息：Unified Neural Scaling Laws，arXiv:2605.26248

核心问题：现有缩放定律通常只刻画单一或少数维度（如参数量或数据量）的缩放行为，如何统一建模多个维度同时变化时的缩放行为？

关键发现：

• 提出统一神经缩放定律（UNSL）函数形式，首次同时建模六个维度的联合缩放：模型参数量、训练数据量、训练步数、推理步数、计算量、超参数
• 覆盖多种架构和多种任务类型：大规模视觉、语言、数学、强化学习（含上游和下游任务）
• 与其他缩放定律函数形式相比，UNSL 的外推精度在多样化任务集上显著更高

实践启示：多维度联合缩放的统一建模是迈向”预测式 AI 工程”的关键一步。过去我们只能回答”数据翻倍效果如何”，现在可以回答”数据翻倍 + 推理步数减半 + 学习率调整”的联合效果。对于资源受限下的训练预算分配决策，UNSL 提供了比单维缩放定律更可靠的预测工具。

---

GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training

论文信息：GAC: Noise-Aware Adaptive Mixing for Hybrid SFT-RL Post-Training，arXiv:2605.26184

核心问题：混合后训练（SFT + RL）中，两种信号的相对噪声会随训练动态变化，固定混合比例无法适应这种变化，导致训练效率低下甚至性能退化。

关键发现：

• 提出 GAC 噪声感知控制器，从梯度方差和两种训练信号分歧的在线估计中推导自适应混合权重
• 引入平滑、先验引导和有界更新三项机制，保证训练稳定性
• 复用现有训练张量，训练开销不到 1%
• 在数学、代码、科学、逻辑四大基准上，GAC 一致性地改善混合后训练效果，且模型规模越大提升越显著

实践启示：SFT 和 RL 信号不是简单的”哪个更好”关系，而是信噪比随训练阶段动态变化的互补信号。GAC 的核心洞察是”噪声驱动的混合权重”——谁的梯度更干净就多听谁的。这种轻量级在线适配器的设计模式（<1% 开销）非常适合工业级后训练流水线集成。

---

Pretraining Data Exposure in Large Language Models: A Survey of Membership Inference, Data Contamination, and Security Implications

论文信息：Pretraining Data Exposure in Large Language Models，arXiv:2605.26133，发表 NLDB 2025

核心问题：数据污染（data contamination）和成员推理（membership inference）长期被作为独立问题研究，但实际上它们都是同一问题的不同侧面——判断特定数据是否出现在 LLM 的预训练语料库中（即预训练数据暴露，PDE）。

关键发现：

• 首次将数据污染和成员推理在 PDE 框架下统一综述，弥合了两个领域的割裂
• 按不同暴露水平形式化 PDE 问题，系统梳理攻击方法和防御方法
• PDE 直接影响两大核心关切：评估完整性（evaluation integrity）和隐私保护
• 指出了当前开放挑战和未来研究方向

实践启示：数据污染检测和成员推理防御不应割裂处理。在实际数据工程中，构建预训练语料时需要同时考虑”评估集是否混入”（污染）和”用户数据是否泄露”（隐私）。PDE 框架提示我们：数据审计应该是预训练数据流水线的标准环节，而非事后补救。对于正在构建自有预训练语料的团队，PDE 的分级暴露模型可以作为数据合规检查的参考框架。