数据论文速递 · Vol.83

数据论文速递 Vol.83

预训练数据如何塑造后训练推理回报；域感知 Scaling Laws 量化数据协同效应；CRAFT 靶向生成 SFT 数据；答案条件 CoT 损害推理蒸馏质量；DataShield 跨模型有害微调数据过滤

pretraining-data scaling-laws data-synthesis data-quality data-safety

1. Understanding Reasoning from Pretraining to Post-Training

arXiv: 2607.16097 | 日期: 2026-07-17

核心问题： 预训练数据如何影响后训练（RL）阶段的推理能力涌现？预训练与后训练之间是否存在可量化的关系？

关键发现：

  • 预训练 token 数量与 RL 奖励斜率之间存在线性关系——更多预训练数据不仅提升初始能力，更直接决定了 RL 训练的”回报率”
  • 不同预训练数据配方对 RL 后的推理表现差异显著，数据质量的影响在 RL 阶段被放大
  • 提出”预训练-后训练一致性”框架：预训练阶段学到的推理模式决定了 RL 阶段可探索的奖励空间

实践启示： 预训练数据规划不能仅关注预训练指标，必须前瞻性地评估其对 RL 阶段”回报效率”的影响。投入更多预训练 token 有望获得更高效的 RL 微调。

2. Domain-Aware Scaling Laws Uncover Data Synergy

arXiv: 2607.11052 | 日期: 2026-07-13

核心问题： 多域数据混合预训练时，域间数据如何相互影响？是否存在可量化的”数据协同”效应？

关键发现：

  • 提出域感知 Scaling Laws 框架，将传统幂律从单域扩展到多域混合场景
  • 发现数据协同效应：某些域对组合训练时，效果超越独立训练的叠加（正协同）；某些域对则产生干扰（负协同）
  • 量化了协同强度：正协同最高可达 15% 的额外增益，负协同最严重可抵消 20% 的学习效率
  • 基于协同矩阵提出最优数据混合配比算法，优于均匀采样和经验配比

实践启示： 数据混合不是简单的比例调和，域间交互效应必须纳入 Scaling Laws 建模。先做小规模协同探测，再决定大规模预训练的域配比。

3. CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data

arXiv: 2607.16122 | 日期: 2026-07-17

核心问题： 如何精准定位模型能力短板，并自动生成针对性的 SFT 训练数据？

关键发现：

  • CRAFT 框架：先通过 Rubric 聚类诊断模型弱项（哪些能力维度得分低），再针对性生成补短板的 SFT 数据
  • Rubric 聚类将细粒度评估指标自动归组为能力维度，减少人工标注负担
  • 生成的靶向数据相比均匀采样 SFT 数据，在弱项维度上提升 23-38%，同时不损害强项维度
  • 整体准确率提升 8-12%，训练数据量仅需全量数据的 40%

实践启示： “先诊断后开药”的数据生成策略远优于盲目扩充 SFT 数据。评估-生成的闭环是高质量 SFT 数据合成的新范式。

4. Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation

arXiv: 2607.14552 | 日期: 2026-07-16

核心问题： SFT 数据中常见的”答案条件 CoT”（先给答案再推导过程）是否会损害推理蒸馏质量？

关键发现：

  • 答案条件 CoT（Answer-Conditioned CoT）即模型在已知正确答案的前提下生成推理过程，导致推理链”反推拟合”而非”正向推理”
  • 在可验证推理任务（数学、代码）上，答案条件 CoT 训练的模型比无条件 CoT 训练的模型准确率低 12-19%
  • 根因：答案条件化使模型学到的是”如何从答案反推过程”而非”如何从问题推导答案”，测试时面对未知答案的场景泛化能力骤降
  • 提出解耦方案：推理过程生成必须独立于答案标注

实践启示： SFT 数据构造中，务必避免让模型在推理过程中”偷看”答案。推理蒸馏的数据质量取决于过程是否真实反映了从问题到答案的因果链。

5. DataShield: Uncovering Risky Fine-Tuning Data Across LLMs Through Consensus Subspace Alignment

arXiv: 2607.15081 | 日期: 2026-07-16

核心问题： 如何在微调数据中自动检测和过滤有害样本，且方法能跨模型泛化？

关键发现：

  • DataShield 提出共识子空间对齐方法：通过多个 LLM 对样本安全性的共识判断，提取跨模型一致的风险子空间
  • 关键创新——不依赖单一模型的安全判断（易被绕过），而是利用多模型共识提升鲁棒性
  • 在 4 个主流 LLM 上的实验表明，DataShield 检出有害微调数据的 F1 比单模型方法高 17-28%
  • 被过滤后的微调数据训练的模型，在安全基准上提升 15%，同时任务性能仅下降 0.8%

实践启示： 微调数据安全过滤应采用多模型共识策略，而非依赖单一模型的安全评分。跨模型泛化能力是数据清洗工具实用化的关键。