数据论文速递 · 2026年08月13日

引言

本期论文速递覆盖 8 月上旬 arXiv 上与大模型数据工程直接相关的 5 篇新工作。从 Scaling Laws 的根本性修正（Skaling 引入耦合指数），到指令数据选择从手动配置走向 Agent 自动编排（DataMaster），再到从已发布 Tokenizer 逆向估计隐藏预训练语料组成（QGDE），以及预预训练方法在多语言场景下的不稳定性警示，和扩散语言模型在数据效率上的突破——LLaDA MoE v2 仅用 65% 的预训练 token 即逼近 Qwen3。这些工作共同指向一个趋势：数据工程正在从”经验驱动”走向”定律指引+系统验证”的范式转变。

---

Skaling: Chinchilla 的指数遇上 Kaplan 的耦合

论文信息：Skaling: Chinchilla’s Exponents Meet Kaplan’s Coupling（arXiv:2608.07222，2026-08-07，cs.CL）

核心问题：标准 Chinchilla 缩放定律假设模型规模 N 与训练数据 D 独立影响损失，导致在数据稀缺和过训练极端区域出现系统性偏差——低估前者、高估后者。这一假设是否过于简化？

关键发现：

• 引入耦合指数 k：提出 Skaling 定律 $L = (A/N^\alpha + B/D^\beta)^k + E$，当 k=1 时退化为 Chinchilla，但 k≠1 时刻画了 N 与 D 的相互作用。混合二阶导数在整个实验网格中显著非零且多为负，说明增大模型与数据存在协同效应
• 预测精度大幅提升：Skaling 在插值和外推场景下 MAPE 降低 1.5–3 倍，在边界区域（小模型多数据 / 大模型少数据）改善尤为明显
• L 型稀疏采样：仅训练低算力边缘配置即可获得接近完整网格的预测效果，profiling 算力最高减少约 10 倍
• 保留闭式最优解：Skaling 保留 compute-optimal 的闭式解，但拟合出的最优 token/parameter 比例随规模变化，可更准确指导大模型训练资源配置

实践启示：Chinchilla 的”独立假设”是数据-模型联合缩放定律的系统性误差来源。对于下一代大模型训练，用耦合指数修正后的 Skaling 定律可以在更少的计算预算下做出更可靠的训练效果预测，直接指导算力分配策略。

---

DataMaster：让 Agent 自动编排指令数据选择策略

论文信息：Agentic Instruction Data Selection: Let DataMaster Interpret Your Intent（arXiv:2608.10579，2026-08-11，cs.AI）

核心问题：现有指令数据选择方法各自引入不同指标，但真实数据集的复杂性使得任何单一指标都无法泛化。开发者被迫手动检查数据并为每个新应用手工编写启发式规则——繁琐且易错。能否将数据选择从手动配置升级为自动编排？

关键发现：

• 范式转变：从手动配置到自动编排——DataMaster 作为指令数据选择 Agent，解读用户自然语言描述的意图，自主组合最优选择策略
• 超越静态基线：在数学、医学、代码三个领域的大量实验中，DataMaster 在大多数设置下优于静态基线，在相当多情况下超越了全量训练
• 用户意图驱动：用户只需用自然语言描述数据需求，DataMaster 自动完成策略设计、指标组合和执行，消除了手动策略设计的负担

实践启示：指令数据选择正在从”设计指标 → 手动调参”走向”描述意图 → Agent 自动编排”。对于数据工程团队，这意味着数据策展的工作重心从”如何选择”转向”如何描述需求”——Prompt Engineering 的能力正在向数据策展领域迁移。

---

QGDE：从已发布 Tokenizer 逆向估计隐藏预训练语料

论文信息：Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?（arXiv:2608.10690，2026-08-11，cs.CL）

核心问题：预训练语料组成塑造了 LLM 的能力，但即使模型权重开源，语料组成往往仍然隐藏。能否从已发布的 Tokenizer 词汇表逆向估计隐藏语料的 token 级别配比？

关键发现：

• 稳定分布发现：BPE Tokenizer 在不同语料上训练后共享稳定的 token ID-ratio 分布，这为从已知语料向目标 Tokenizer 的分布迁移提供了理论基础
• QGDE 方法：提出 Quantile-Guided Density Estimation，用多分位数趋势近似分布，通过局部密度加权生成 token 级别的估计
• 高精度估计：在受控场景和使用 SmolLM Tokenizer 的真实场景中，QGDE 的 token 级别平均相对误差低至 3.00%，聚合到类别级别后为 3.08%

实践启示：已发布的 Tokenizer 词汇表是预训练语料透明度的”被动信号源”。对于模型评估和审计，这意味着即使不披露训练数据，也能通过 Tokenizer 逆向推断语料组成——这为数据合规审计和模型能力溯源提供了新工具，同时也对数据隐私保护提出了新的挑战。

---

预预训练的不稳定性：并非总能带来帮助

论文信息：Instability of LLM Pre-Pretraining: It Doesn’t Always Help. An Investigation on Multiple Languages（arXiv:2608.08800，2026-08-09，cs.CL）

核心问题：预预训练（在人工语言上预训练）被声称可将 token 效率提高 33%，但这一结论是否跨语言、跨设置稳定？

关键发现：

• 增益高度不稳定：报告的 token 效率增益严重依赖实验设置和随机种子选择，仅在特定条件下稳定
• 小模型 + Llama Tokenizer + 128-Dyck 的特例：只有在 128-Dyck 预训练小模型并使用 Llama Tokenizer 时，大多数被考察语言才表现出稳定的增益
• 语言学属性关联：将增益/损失与语言属性（句子长度、形态丰富度、依存句法树特征）进行量化关联，发现不同语言对预预训练的响应差异显著
• 方法论警示：社区应至少对部分实验进行多次训练运行，避免采纳不稳定的方法

实践启示：预预训练不是一个”万能提效”方案——它的增益是有条件的、脆弱的。对于数据工程实践，这意味着在决策是否采用预预训练时，必须进行多随机种子验证，而不能仅凭单次实验的正面结果就部署到生产流程中。

---

LLaDA MoE v2：扩散语言模型的 Scaling Laws 与数据效率突破

论文信息：LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models（arXiv:2608.03457，2026-08-04，cs.AI）

核心问题：扩散语言模型（dLLM）的 MoE 架构缩放行为如何？能否用更少的数据达到与自回归模型可比的性能？

关键发现：

• 专属超参数缩放定律：扩散模型的最优批量大小随算力增长比自回归模型更陡，最优学习率衰减更快。在 1e21 FLOPs 下，自回归定律预测最优批量约 102 万 token，而扩散定律给出 343 万 token——差异源于掩码去噪目标下有效监督强度下降
• 数据侧倾斜的算力分配：IsoFLOP 分析显示最优 token 预算增长快于激活模型侧计算（0.525 vs 0.475），整体接近均衡并略微偏向数据一侧
• MoE 架构缩放规律：更大规模越来越偏好更大的专家池，适度的专家粒度始终有效，共享专家的激活比例跨规模稳定
• 65% token 即可逼近 Qwen3：LLaDA MoE v2（30B-A3B）在 23.5T token 上训练，仅用 Qwen3 约 65% 的预训练 token，在知识、推理、代码等多项基准上即逼近 Qwen3 水平

实践启示：扩散语言模型不是自回归模型的简单替代——它有完全不同的超参数缩放定律和算力分配策略。对于数据工程，这意味着不同的训练范式需要不同的数据配比策略，不能简单套用自回归模型的经验。扩散模型在数据效率上的优势（65% token ≈ 同等性能）为数据受限场景提供了新的可能性。

---

本期核心发现

数据工程从”经验驱动”走向”定律指引+系统验证”——Skaling 修正了 Scaling Laws 的根本假设，DataMaster 将数据选择自动化为 Agent 编排，QGDE 打开了预训练语料透明度的新通道，预预训练的警示提醒我们”验证”而非”信任”每一个数据策略，LLaDA MoE v2 则证明不同训练范式需要完全不同的数据配比策略。数据工程正在从”怎么做”的实践层，走向”为什么这样做”和”怎么证明这样做有效”的方法论层。