数据论文速递 · 2026年07月30日

引言

当高质量数据成为比算力更稀缺的资源，Scaling Laws 的基本假设正在被重新审视。本期 4 篇论文从不同角度回应这一核心矛盾：CD Scaling Laws 在理论上统一了计算最优与数据最优两个极端，揭示了 token 有效性远非常量；时序截断数据合成 提供了一种在数据生成中消除时间泄漏的工程解法；影响力数据审计 用仅推理的方式近似 Shapley 值，揭示了对齐数据集的深层结构缺陷；原生多模态 Scaling Laws 则发现数据配比对多模态目标具有高度敏感性——语言学习不随配比变化，但多模态学习极度依赖配比。从宏观理论到微观工程，数据”怎么用”比”有多少”更关键。

---

Bridging Compute- and Data-Optimal Pretraining

论文信息：Bridging Compute- and Data-Optimal Pretraining · arXiv:2607.25271 · Tian Qin, Kimia Hamidieh, David Alvarez-Melis · 2026-07-28

核心问题：经典 Chinchilla 式计算最优缩放定律假设数据无限供给，但预训练正进入算力增长快于高质量数据增长的”数据受限”时代。当数据不够时，多轮重复或改写得到的”衍生 token”价值几何？如何统一计算最优与数据最优两种范式？

关键发现：

• 提出 Compute-Data (CD) Scaling Laws 统一框架，引入 token 有效性函数 η——量化衍生 token（重复/改写）相对于新鲜 token 的价值，范围从完美替代到完全无效
• 在 Dolma-3 语料上，14M-600M 参数模型实验表明：η 远非常量，它联合依赖于模型大小、tokens-per-parameter 比率和衍生数据量，且随语料扩展而饱和
• η 的函数形式意味着：用计算替代数据存在边际递减——模型越大或数据越充足，替代收益越低
• 划分训练为三种操作模式：计算受限、数据受限、模型受限，并指出经典计算最优分配在多数实际设置下是次优的

实践启示：对预训练团队而言，CD Scaling Laws 提供了”数据不够时怎么办”的量化回答——不是简单重复或改写，而是需要根据模型大小和当前数据量精确计算 η 值来决定最优策略。这直接挑战了”数据不够就多跑几轮”的朴素做法。

---

Distilling Temporal Search and Reasoning: Evolving LLMs for Future Prediction via Harness-Assisted Efficient Data Synthesis

论文信息：Distilling Temporal Search and Reasoning · arXiv:2607.25554 · Wanxu Cai, Zhengyu Chen, Huaisheng Zhu, Wei Wang, Jingang Wang, Qiang Xu · 2026-07-28

核心问题：时序预测任务的数据合成面临”时间泄漏”困境——历史查询会诱导模型将预测退化为检索，而现有方案（冻结观测/拒绝采样/未解决查询）要么限制数据多样性，要么丢弃大量数据导致合成效率低下。

关键发现：

• 提出 时间截断 Harness（time-truncation harness）：在每轮交互中强制执行时间截止点，使 TIR 式采样从历史事件中采样，同时避免未来信息泄漏
• 构建大规模语料库和过程性评估指标，发现该 Harness 自然诱导更广的时间搜索广度，并提升高质量数据比例
• 相比拒绝采样，大幅减少数据丢弃，提升合成效率；相比复杂评分规则，降低了对精细化 rubric 的依赖
• 蒸馏实验表明：在 Harness 干预数据上训练的学生模型取得最佳性能，实现了”将更高质量的时序搜索推理数据转化为参数化能力提升”

实践启示：时间泄漏是时序推理数据合成中的系统性问题，但解法不必然是昂贵的拒绝采样。时间截断 Harness 提供了一种轻量、高效的替代方案——在数据生成阶段就”堵住”泄漏源头，而非在事后过滤。这一思路可推广到任何涉及时序信息的数据合成场景。

---

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

论文信息：Beyond Shapley · arXiv:2607.22766 · Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin (Google) · 2026-07-24

核心问题：对齐数据集随规模扩大不可避免地积累隐藏的结构矛盾、安全风险和系统性标注错误。标准审计方法（语义去重/LLM-as-judge）无法捕捉单条记录的实际预测影响，常遗漏深层功能规则冲突。Shapley 值虽严谨但计算代价 O(2^N) 不可行。

关键发现：

• 提出仅推理的数据估值管道，无需迭代模型重训练即可近似 Shapley 值：将语义 k-NN 邻域映射为有向图，通过参考 LLM 的零样本/单样本条件对数似然偏移评估数据效用
• 将预测影响分数转换为局部优势指标，隔离梯度冲突记录
• 应用于 HelpSteer2：将人工审计搜索空间缩减 99.1%，成功发现虚假标签记录（事实幻觉、格式约束被忽略、表面性偏见等多种失败模式）
• 应用于 Anthropic HH-RLHF：识别出数千条隐藏的安全/事实偏好反转；审计评估集时暴露严重基准漏洞——高能力模型预测了更安全/更有帮助的回复，却被人标注的瑕疵标签惩罚

实践启示：对齐数据集的”已审核”不等于”无问题”。影响力审计管道揭示了两个关键教训：(1) 人工标注的偏好数据存在系统性错误，仅靠去重和 LLM 评判无法发现；(2) 评估基准本身可能存在标签缺陷，导致”正确预测被惩罚”的荒谬局面。这对 RLHF 数据管线和基准设计都有直接冲击。

---

Scaling Native Multimodal Pre-Training From Scratch

论文信息：Scaling Native Multimodal Pre-Training From Scratch · arXiv:2607.22043 · Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu · 2026-07-24

核心问题：原生多模态预训练（从零开始在多模态输入上训练）具有深度跨模态融合优势，但其缩放特性尚未被系统表征。固定计算预算下，模型大小、token 数量和数据配比如何联合影响性能？

关键发现：

• 最小目标损失遵循可预测的计算定律，计算最优模型大小和 token 数遵循幂律
• 语言与多模态目标呈现截然不同的缩放行为：语言分配定律对数据配比几乎不变（语言学习不随配比变化）；多模态分配定律对配比高度敏感
• 文本偏重的混合仅在更大模型规模下才变得计算高效，将最优资源分配推向更大模型容量
• 通过建模数据配比对计算定律和分配指数的影响，推导出效率前沿——精确指定模型大小、token 数和数据配比的最优配置
• 下游评估揭示原生多模态预训练诱导正向跨模态迁移，增强纯文本空间推理

实践启示：多模态预训练的数据配比不是”语言+视觉各来一点”这么简单。语言目标对配比不敏感意味着语言能力是”免费”获得的，但多模态能力极度依赖配比——这解释了为什么很多多模态模型的视觉理解能力随配比变化剧烈波动。效率前沿的推导为多模态预训练提供了可操作的配方指南。

---

本期小结

四篇论文共同指向一个核心命题：数据”怎么用”比”有多少”更重要。CD Scaling Laws 证明衍生 token 的价值是非线性的，简单重复远不如精确计算有效；时间截断 Harness 证明合成数据的质量关键在生成阶段而非事后过滤；影响力审计证明数据”看起来没问题”不等于”真正没问题”；多模态 Scaling Laws 证明同样的数据量在不同配比下效果天差地别。当数据从充裕走向受限，精细化数据工程正在取代粗放式数据扩张。