数据论文速递 · Vol.77

数据论文速递 · 2026年07月15日

本期聚焦数据协同效应、训练数据广度与知识持久性、领域语料统一化、数据质量与训练调度交互——从'数据够不够'走向'数据怎么组合才有效'。

论文速递 arXiv 数据协同 Scaling Laws 持续学习 领域语料 数据质量 预训练 数据混合 知识持久性

引言

当 Scaling Laws 的边际收益递减成为共识，“数据问题”正从”量够不够”转向”怎么组合才有效”。本期四篇论文从不同角度回应这一转向：Domain-Aware Scaling Laws 将”数据协同/干扰”从经验观察提升为可量化、可预测的框架；Continual Fact Learning 揭示训练数据广度如何决定知识在权重中的持久性；TheBioCollection 展示领域语料统一化+富化的工程路径；Index-1.9B 用控制实验证明数据质量与训练调度的交互效应。一条清晰的主线正在浮现——数据工程的核心问题不再是”喂什么”，而是”什么时候喂、和什么一起喂、喂多广”。

Domain-Aware Scaling Laws Uncover Data Synergy

核心问题：不同领域数据的混合会产生”协同”或”干扰”效应——例如加入代码数据能提升数学推理，而某些组合反而降低性能——但现有 Scaling Laws 将数据视为同质整体，无法量化这种领域间交互。

关键发现：

  • 提出两类协同效应的量化框架：直接协同（一个领域对另一个领域 benchmark 的贡献）和二阶协同（需要多个领域同时出现才能涌现的能力）
  • 利用开源 LLM 的多种预训练配比差异作为”天然实验”进行估计，无需额外训练
  • 框架预测精度显著优于领域无关的 Scaling Laws；协同效应估计在不同模型间保持稳定
  • 用预测最优配比和预测最差配比分别训练模型，协同估计正确预测了性能排序

实践启示：数据配比不仅是”各领域占多少”的资源分配问题，更是”哪些领域组合会产生 1+1>2”的化学反应问题。在规划预训练数据时，应优先识别和利用正协同领域对，回避负协同组合。

Can a Language Model Learn Facts Continually in Its Weights?

核心问题：当语言模型通过权重更新持续学习新知识时，训练数据的”广度”如何影响知识在权重中的持久性？后续写入是否会覆盖先前知识？

关键发现：

  • 裸陈述训练（仅用一句话表述事实）产生的是”背诵”而非”运用”，背诵-运用差距达 27.4 分
  • 多样化重述训练（同一事实的多种表述方式）将差距降至 5.4 分，且无需展示结论
  • 经历 20 次后续写入后：裸陈述事实仅保留 1% 准确率，而广泛学习数据保留 46%
  • 知识可被”行为性遗忘”但未被擦除——被遗忘的事实仍保留了大部分 log-probability，只是后续写入重定向了访问路径
  • 对无关能力的损害与 KL 散度成正比，与先前知识的存储方式无关
  • 当知识需要组合使用或跨写入存活时，上下文（context）比权重更可靠

实践启示：这条结论对 CPT/持续预训练有直接指导——单一暴露的注入式训练极其脆弱；数据多样性不仅提升泛化，更是知识在权重中”扎根”的关键。在知识更新场景中，RAG 可能比权重微调更稳健。

TheBioCollection: Unified Pre-Training Scale LLM Corpus for Biology

核心问题：生物学数据资源（分子数据库、蛋白仓库、基因组注释、单细胞图谱、通路数据库）散落在异构格式中，无法直接用于语言模型训练。如何将这些资源统一为训练可用的预训练语料？

关键发现：

  • 构建 52.6B token 的统一生物学预训练语料，覆盖小分子、蛋白质、基因组序列、细胞和通路五大领域
  • 不仅整合现有数据，还为每条记录附加工具计算得到的生物学属性（如分子量、溶解度、功能注释）
  • 引入当前语料几乎未覆盖的新指令任务类型
  • 配套 TheBioCollection-Eval 评测套件，覆盖识别、生成和预测三类任务
  • 在 Gravity-16B-A3B 架构上训练，总分翻倍以上，各领域均有提升，通用语言能力几乎无损

实践启示：领域 LLM 的瓶颈往往不在模型架构，而在语料工程。TheBioCollection 展示的”异构整合 + 属性富化 + 指令补充”三步法，是领域语料建设的可复用范式。对于任何数据碎片化的垂直领域，这套方法论都值得参考。

Index-1.9B: 数据质量与训练调度的交互效应

  • 论文信息：Index SLM Technical Report，arXiv:2607.09885，2026-07-10，cs.CL
  • 作者：Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li（Bilibili）

核心问题：在小规模语言模型预训练中，数据质量决策（如是否过滤指令数据、何时注入高质量数据）如何与训练调度（学习率方案）交互影响最终性能？

关键发现：

  • 1.9B 参数模型在 2.8T token（中英双语）上预训练，平均得分 64.92，超越数倍规模的竞品
  • 采用 Warmup-Stable-Decay 学习率方案，在衰减阶段大幅提升高质量数据浓度，是性能跃升的关键
  • Index-1.9B-Pure（严格过滤指令类数据）作为控制变量，直接揭示指令数据泄漏对预训练的影响
  • 控制实验揭示了学习率衰减与数据质量的强交互：衰减期是高质量数据的”黄金窗口”
  • 文档了恒定学习率阶段中段出现的基准性能”不明飙升”，有待进一步解释

实践启示：“什么时候喂什么数据”和”喂什么数据”同样重要。LR 衰减期是高质量数据发挥最大效用的关键窗口——这为”数据课程”的实践提供了明确的时间锚点。此外，小模型的强表现也提示：在数据调度上做对决策，可以在数量级更小的模型上逼近大模型效果。