数据论文速递 · Vol.54

数据论文速递 · 2026年06月03日

本期聚焦后训练推理数据体系、图约束多跳数据合成、字节精确去重引擎与数据集缩放定律，覆盖综述、数据合成、数据去重和Scaling Laws四大方向

论文速递 arXiv 后训练数据 推理数据 数据合成 图约束 数据去重 Scaling Laws 数据集缩放

引言

本期精选 4 篇近期 arXiv 论文，覆盖后训练推理数据体系综述、图约束多跳数据合成、高吞吐去重引擎与数据集缩放定律实证。从”后训练需要什么样的推理数据”到”如何高效合成与去重”，再到”数据量边际收益的定量刻画”，这些工作共同回答一个核心问题：如何让有限的训练数据发挥最大价值。

A Primer in Post-Training Reasoning Data: What We Know About How It Works

  • 论文信息：Yaoming Li, Guangxiang Zhao, Qilong Shi, Lin Sun, Xiangzheng Zhang, Tong Yang | arXiv:2606.02113
  • 核心问题：后训练推理数据快速增长但文献分散，缺乏统一的归因框架来理解”什么数据对象存在、为什么有用、如何构建、如何缩放”
  • 关键发现：
    • 首个系统综述，综合 150+ 项公开研究和系统报告，围绕四个核心问题组织整个领域
    • 建立了推理数据的归因框架（Attribution Framework）：数据对象 → 有用性 → 构建方法 → 缩放规律
    • 揭示推理数据并非单纯的”更多更好”，数据对象的类型（CoT、过程奖励、偏好对等）决定了其对模型能力的贡献方式
    • 开源项目仓库：Awesome-LLM-Reasoning-Data
  • 实践启示：后续发布推理数据集或设计后训练方案时，可参考该归因框架明确数据类型、有用性来源和缩放预期，避免盲目堆量

Scaling Multi-Hop Training Data via Graph-Constrained Path Selection

  • 论文信息：Pengyu Chen, Yonggang Zhang, Mingming Chen, Jun Song, Wei Xue, Yike Guo | arXiv:2605.31238
  • 核心问题：专业文档的组合推理需要大规模多跳训练数据，但现有方法在处理包含密集交叉引用和重复模板的现实语料时，教师模型合成失败率极高
  • 关键发现：
    • 解耦路径发现与语言化：通过上下文关键词质心图离线枚举推理路径，教师模型仅需将预验证路径”翻译”为问答对
    • 图强制执行五种几何可容许性约束，Gram-matrix 论证表明仅局部相似性下界允许端点漂移高达 ~91°，需要相似性上界来退出由样板文本形成的密集嵌入团
    • 核心洞察：图约束的作用不在于提升单条链的质量，而在于将可用语料库扩展 4.4 倍——提升的是教师模型的可合成性
    • 在 CUAD 法律合同语料上微调 Qwen3-32B，closed-book Token F1 从 21.66% 提升至 38.58%
  • 实践启示：构建领域多跳训练数据时，与其追求每条链的高质量，不如通过结构化约束扩大教师模型能成功合成的语料覆盖范围

Merlin: Deterministic Byte-Exact Deduplication for Lossless Context Optimization in Large Language Model Inference

  • 论文信息：Sietse Schelpe | arXiv:2605.09990
  • 核心问题：LLM 推理（特别是 RAG 场景）中，高度冗余的文本语料造成上下文窗口浪费和计算开销，现有去重方案无法同时保证无损性和高吞吐
  • 关键发现：
    • 基于优化后的 SIMD 友好开放寻址 flat hash set + xxHash3-64，实现字节精确去重
    • 低冗余数据集输入减少 13.9%，高冗余管道输入减少超过 71%，完全保持数据保真度
    • 持续处理速度高达 8.7 GB/s
    • 通过 Model Context Protocol (MCP) 集成，支持跨主流 IDE 和自主代理的安全零网络拦截部署
  • 实践启示：RAG 系统中可在上下文注入前对检索结果进行字节级精确去重，以零信息损失换取显著的上下文窗口节省和推理加速

Is More Data Worth the Cost? Dataset Scaling Laws in a Tiny Attention-Only Decoder

  • 论文信息：Bernhard Bermeitinger, Götz-Henrik Wiegand, Lorena Raichle, Rico Städeli, Siegfried Handschuh, Tomas Hrycej | arXiv:2604.09389 | ICLR 2026 DATA-FM Workshop / IEEE SDS 2026
  • 核心问题：数据集缩放定律在大规模模型中已被验证，但在受控的小规模环境中，数据量与性能的定量关系如何？仅用 30% 数据能否达到 90% 性能？
  • 关键发现：
    • 使用极简的纯注意力解码器（~2.36M 参数），在 AllTheNews2.0 语料的幂次子集上训练，观察到平滑的性能提升伴随明确的边际递减
    • 仅使用约 30% 的训练数据即可达到约 90% 的全数据验证 token 级准确率
    • 子集规模超过 2¹² 条序列后 JS 散度 < 0.003，表明分布收敛，性能差异主要由数据量驱动而非采样偏差
    • 在固定计算预算下，额外数据的收益有限，确认缩放行为是数据受限而非模型受限
  • 实践启示：小团队和探索性预训练场景中，子集预训练 + 早停是实用策略——不必追求数据全量，即可在可控成本下逼近最优性能