数据论文速递 · 2026年08月01日

引言

7 月末的 arXiv 新论文呈现了数据工程从”生成什么”到”怎么组织生成物”的演进趋势。本期四篇论文分别从合成数据的文档组织形式（教科书级结构 vs 碎片化改写）、数据配比的贝叶斯推断（替代函数拟合范式）、人文社科开放性任务的领域数据合成（学科驱动 vs 能力驱动）、以及学习率-批次大小联合缩放定律（动态调度优于静态）四个维度推进前沿。核心信号是：数据工程的收益不再仅取决于数据内容本身，更取决于数据的组织形式和搜索策略。

Beyond Rephrasing: Book-Level Organization Improves Synthetic Textbook Data for Mid-Training

• 论文信息：arXiv:2607.28109，Jiawen Tao, Miao Peng, Yaoming Li 等，2026-07-30

• 核心问题：合成教科书数据提升了语言模型预训练效果，但先前工作将收益归因于生成内容的质量或局部改写风格。本文研究一个被忽视的因素——相关内容是否被组织为连贯的书籍级文档。

• 关键发现：

  • 提出可扩展的合成管线：从预训练语料检索源材料 → 聚类为主题单元 → 规划层次化目录 → 组装为完整教科书（Full 设置），产出 686K 教科书（32B tokens），覆盖 15,000+ 学科。
  • 用自然书籍替换为该语料库进行 mid-training，下游性能平均提升 +1.09。
  • 严格控制实验解耦设计因素：内容匹配的 Split 条件（文本和 token 不变但每节独立文档）下 Full 仍提升 +1.02，孤立了文档打包效应；长度匹配的 RandomConcat（跨书拼接节）仍低于 Full，排除了文档长度作为唯一解释；检索池匹配的 Rephrase（独立改写无聚类/目录规划/书籍组装）下 Full 额外提升 +1.17，证明结构化合成的价值。
  • 在 Llama3-8B 上，Full 同样优于 RandomConcat 和 Natural Books。

• 实践启示：合成数据的设计轴不仅是”生成什么内容”和”怎么改写”，还包括”如何组织生成物”。将相关内容打包为具有层次结构的连贯长文档（而非碎片化短文档），是 mid-training 数据设计中被低估的有效策略。对预训练数据工程而言，文档包装（document packaging）是独立于内容质量和文档长度的第三维度。

Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting

• 论文信息：arXiv:2607.27928，Xiang Yuan, Kaiqing Lei, Zhenyu Jin, Jun Shu, Deyu Meng, Zongben Xu，2026-07-30

• 核心问题：数据配比优化主要有两条路径——函数拟合（映射域权重→验证损失）和直接优化。函数拟合依赖强结构假设（秩不变性/缩放定律），常被违反导致估计偏差；直接优化则因轨迹不稳定和计算开销大而受限。如何找到稳定且高效的数据配比优化方法？

• 关键发现：

  • 提出贝叶斯域加权方法：从 Dirichlet 分布推断域权重，引入从观测中学到的 Gamma 先验信息。
  • 与函数拟合方法相比，本方法无需强结构假设，避免了秩不变性或缩放定律假设被违反时的估计偏差。
  • 与直接优化方法相比，Gamma 先验提供了稳定的优化轨迹，避免了直接优化的不稳定性。
  • 实验表明该方法以远少于搜索式函数拟合方法的数据量找到最优配比，重新激活了优化式域加权在大规模应用中的潜力。

• 实践启示：数据配比搜索不必在”多训练代理模型拟合函数”和”不稳定端到端优化”之间二选一。贝叶斯框架通过先验信息约束搜索空间，实现了稳定、高效、少数据的配比发现。对大规模预训练团队而言，这意味着可以更低的计算成本探索更多配比候选，有望突破当前函数拟合范式的精度天花板。

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

• 论文信息：arXiv:2607.27379，Ru Peng, Tianyu Zhao, Xijun Gu 等，ACL Findings 2026，2026-07-29

• 核心问题：数据合成在封闭任务（数学、代码）上已获成功，但人文社科（HSS）领域被忽视——其开放性本质使合成极具挑战性。现有合成方法以能力为中心、碎片化，无法覆盖 HSS 的学科体系。

• 关键发现：

  • 首次定义 HSS 领域体系，覆盖 14 个主流学科，提出学科驱动（subject-centric）范式取代能力驱动范式。
  • 三阶段管线：（1）从 Web 语料多步过滤+文本精炼构建种子文档；（2）“需求+角色”反翻译种子文档为多样化指令，配严格 Q&A 对齐检查；（3）teacher-forced Answering——在响应生成时喂入种子文档锚定语义、减少幻觉、保持语气完整性。
  • 产出 237K 高质量多样本，在 16 个基准上超越 14 个领先基线；微调 Qwen3-8B-Base 达到新 SOTA，接近官方 Qwen3-8B，在人类偏好和知识能力上同时提升无跷跷板效应。
  • Teacher-forced Answering 是关键创新：通过在生成时注入原文信息，突破了 LLM 响应长度和保真度限制。

• 实践启示：开放性领域的数据合成不能照搬封闭任务的”问题-答案”范式，需要学科体系化组织+原文锚定生成。对中文大模型而言，人文社科是预训练和 SFT 数据的短板领域——HSS-Synth 的学科驱动范式和 teacher-forced Answering 机制可直接迁移到中文语境。该论文被 ACL Findings 2026 接收，方法论经过严格同行评审。

Towards Joint Scaling Laws with Optimal Batch Size Schedules

• 论文信息：arXiv:2607.27731，Jiaxiang Li, Zhiqi Bu, Shiyun Xu，2026-07-30

• 核心问题：现代深度学习通常全程保持批次大小（batch size）不变，忽视了学习率和批次大小对训练动力学的联合效应。能否为任意学习率调度推导出最优批次大小调度，并建立联合缩放定律？

• 关键发现：

  • 从凸优化视角研究深度学习动力学，推导出损失关于学习率调度和批次大小调度的联合表征，适用于通用优化器和模型架构。
  • 该表征为任意给定学习率调度产出闭式最优批次大小调度，无需搜索或试错。
  • 进一步导出联合缩放定律，始终优于静态批次大小基线。
  • 揭示了动态批次大小调度在大语言模型训练中的重要性——当学习率变化时，最优批次大小也应相应调整。

• 实践启示：Scaling Laws 的实践不应只关注模型参数量和数据量的权衡，还应纳入批次大小调度这一被忽视的维度。对大规模预训练而言，将学习率衰减与批次大小动态调整联合设计，可以在不增加计算预算的前提下持续获得性能提升。这为 Chinchilla-style 缩放定律提供了更精细的训练配方优化空间。