数据论文速递 · Vol.50

数据论文速递 · 2026年05月30日

本期聚焦 LLM 数据工程全链路：从 mid-training 源感知数据选择（MIRA）、数据组织排序优化（STR/SAW）、领域归纳式数据合成（DOMINO），到合成巨型文档的预训练效率提升（Megadocs）和推荐系统合成数据 Scaling Laws 首次突破。

论文速递 arXiv 数据选择 数据组织 数据合成 Scaling Laws 预训练数据 mid-training 合成数据

本期精选 5 篇数据相关论文，覆盖数据选择、数据组织、领域合成、合成数据预训练和 Scaling Laws 五个方向。其中 3 篇来自 5 月 29 日最新 arXiv 批次。

MIRA: Mid-training Rubric Anchoring for Source-Aware Data Selection

  • 论文信息：arXiv:2605.30288

  • 核心问题：Mid-training 阶段数据来源异构、格式各异，现有数据选择方法要么仅提供隐式质量信号（模型方法），要么依赖固定评分标准（语义方法），难以兼顾可扩展性和判断精度。

  • 关键发现：MIRA 提出将评分标准构建纳入数据选择流程的两步框架——先为每个数据源组自动发现应评估的维度（自锚定 Rubric 发现），再将判断蒸馏为轻量学生打分器实现全语料规模过滤。在包含 21 个来源、5 个源组的代码导向 mid-training 实验中，MIRA 在 9 个代码基准上超越选择基线，仅用一半 token 即匹配全语料训练效果。

  • 实践启示：mid-training 数据选择的关键不是统一评分标准，而是源感知的差异化评估。Rubric 自动发现 + 蒸馏打分的范式可在不牺牲可扩展性的前提下获得语义级判断力，对大规模异构数据策展有直接参考价值。

Demystifying Data Organization for Enhanced LLM Training

  • 论文信息：arXiv:2605.30334（Microsoft，ACL 2026）

  • 核心问题：数据筛选已被广泛研究，但训练样本的排列顺序（数据组织）对 LLM 性能的影响尚未被系统探索，尤其在当前模型通常仅训练 1–2 个 epoch 的背景下。

  • 关键发现：论文总结出四条数据组织准则——边界锐化（Boundary Sharpening，高质量样本应相邻排列以形成清晰梯度边界）、周期调度（Cyclic Scheduling，交替出现不同难度段）、课程连续性（Curriculum Continuity，全局难度应渐进递增）和局部多样性（Local Diversity，邻近样本应有一定差异以防过拟合）。据此提出 STR（Stair Ordering）和 SAW（Saw Ordering）两种排序方法，在不同模型规模和预训练/SFT 阶段均稳定提升训练性能，且复用已有样本级评分，无额外计算开销。

  • 实践启示：数据组织是低成本高回报的优化手段。已有质量评分可用于排序而非仅用于过滤，四条准则可直接指导工程实践。代码已开源于 data-efficacy 仓库。

DOMINO: Domain-Specific Data Synthesis via Minimal Sufficient Representation Learning

  • 论文信息：arXiv:2605.30039

  • 核心问题：现有领域数据合成遵循”演绎范式”（依赖自然语言描述目标领域 + 精心设计 prompt），但很多领域特征难以用自然语言精确表述，导致合成数据偏离目标域。

  • 关键发现：DOMINO 开创了”归纳范式”——仅需一组参考样本即可定义目标领域。核心方法是通过 prompt tuning + 对比解耦目标从参考样本中学习最小充分域表征（Minimal Sufficient Representation），分离域级模式与样本特定噪声，再以此表征引导 LLM 生成域对齐的合成数据。理论上证明了 DOMINO 扩展了合成数据分布的支撑集，确保更大多样性。在编程基准上，fine-tuning DOMINO 合成数据在 Pass@1 上提升最高 4.63%。

  • 实践启示：当领域边界模糊、难以用文字描述时，归纳式合成优于演绎式。最小充分表征避免了过拟合参考样本的噪声，同时保留域核心特征。对垂直领域（特别是代码、数学等隐式领域）的数据合成有方法论意义。

Data-efficient Pre-training by Scaling Synthetic Megadocs

  • 论文信息：arXiv:2603.18534

  • 核心问题：在数据受限场景下，合成数据增强可提升预训练效果，但简单复述（rephrasing）的数据效率存在天花板（约 1.48×），如何设计合成数据以实现更好的损失缩放（loss scaling）？

  • 关键发现：论文提出”巨型文档”（Megadoc）视角——同一文档的多个合成生成应拼接成一个更长的文档，而非作为独立短文档。两种构建方式：拼接复述（Stitched Rephrasing，将同一文档的所有合成复述顺序拼接）和插入理由（Latent Thoughts，在文档片段间插入 LLM 生成的推理链）。在每文档 32 个生成时，Megadoc 将数据效率从 1.48× 提升至 1.80×，且在长上下文损失上改善尤为显著。重要的是，随着合成数据量增加，Megadoc 相对简单复述的优势持续扩大。

  • 实践启示：合成数据的组织形式和内容一样重要。将同源合成数据组织为长文档而非独立短文档，可显著改善模型对长距离依赖的学习能力。这一发现对数据受限下的预训练策略设计有直接启发。

Principled Synthetic Data Enables the First Scaling Laws for LLMs in Recommendation

  • 论文信息：arXiv:2602.07298（Meta）

  • 核心问题：推荐系统 LLM 缺乏可预测的 Scaling Laws——此前在真实用户日志上训练甚至出现”sub-scaling”（更大模型不优于小模型），根源是原始数据的位置偏见、热门偏见和曝光偏见。

  • 关键发现：论文提出分层合成数据课程——第一层生成商品文本对齐和协同过滤规则（基础语义知识），第二层通过图随机游走生成无偏见的用户交互历史。SASRec 在合成数据上训练后 Recall@100 提升 130%，且首次在推荐 LLM 上建立了稳健的幂律缩放关系（0.6B→8B 参数）。更发现不同数据类型间的非对称迁移：协同过滤数据可将用户交互任务的渐近损失降低 31%，但反向迁移不成立。

  • 实践启示：当真实数据存在系统性偏见时，精心设计的合成数据不是替代品而是”升级版”。分层课程设计让模型先学基础语义再学行为模式，符合认知规律。非对称迁移效应提示我们：数据添加顺序很重要，基础语义数据应先于行为数据。

本期小结：从数据选择（MIRA）到数据组织（STR/SAW），从领域合成（DOMINO）到合成数据设计（Megadocs、Rec Scaling Laws），本期论文共同指向一个趋势——数据工程正从”选什么数据”走向”怎么用数据”。评分标准的自动发现、样本排列的精细优化、合成数据的组织形式，这些此前被忽视的维度正在成为数据效率的新前沿。