1 万亿 token 实验告诉你：合成预训练数据该怎么写

如果你在训练 LLM，几乎一定会用到合成数据。但”合成数据”是一个宽泛的概念——用什么格式 rephrase、用多大的生成模型、原始数据从哪里来——这些选择的影响有多大？一直没有系统的答案。

昨天 HuggingFace 团队发布的论文 FinePhrase 首次做了这件事：生成超过 1 万亿 token 的受控实验，逐一对比这些变量。结论有几点让我意外。

结构化格式碾压原始 web 文本

最核心的发现是：把 web 文本 rephrase 成结构化格式（表格、数学题、FAQ、教程）的效果，显著优于直接使用精心筛选的 web 数据，也优于 Cosmopedia 等现有合成数据方法。

这意味着格式本身就是信息密度的载体。把一篇博客文章变成 FAQ，强迫语言模型把内容组织成”问题-答案”的结构，这种 reformatting 过程实际上在做一种隐式的知识提炼。

“Structured output formats, such as tables, math problems, FAQs, and tutorials, consistently outperform both curated web baselines and prior synthetic methods.” — Niklaus et al., arXiv:2604.13977

这个发现直接影响实践：如果你在构建合成预训练语料，与其花大量精力筛选高质量原始文本，不如把精力放在设计好的 rephrase prompt 和目标格式上。

生成器模型大小：1B 之后没有回报

第二个发现更反直觉：生成器模型超过 1B 参数，合成数据质量不再提升。

这个结论如果成立，会大幅降低合成数据的生成成本。传统认知是”更强的模型写出更好的数据”，但实验表明，对于 rephrasing 这类任务，1B 的模型就够了。这不是说生成模型越小越好，而是说这类格式转换任务的天花板比我们想象的低——任务本身的复杂度有限。

对比一下：如果你用 GPT-4o 或 Claude 3.5 生成合成数据，每条的成本是用 1B 开源模型的几十到上百倍。FinePhrase 的发现直接支持用小模型大批量生成。

原始数据选择的影响被低估了

第三个发现：用来 rephrase 的原始数据来源，对最终合成数据的质量影响巨大。

这是一个容易被忽视的变量。大家都在讨论如何生成，却很少讨论”从哪个原始数据生成”。论文表明这个选择的权重不亚于生成策略本身。

FinePhrase 数据集

基于这些发现，作者开源了 FinePhrase，一个 486B token 的 rephrased web 文本数据集，并声称它”优于所有现有合成数据 baseline，同时降低高达 30 倍的生成成本”。数据集、prompt、生成框架全部公开。

从 Phi 系列到 SmolLM，小模型靠高质量数据逆袭的故事已经多次上演。FinePhrase 的贡献在于把”怎样的合成数据才是高质量的”这件事变得更可测量、更可复现。

关键问题还没解决：这些结论在 7B、70B 量级的预训练上还成立吗？作者的实验规模有限，外推需要谨慎。但 1T token 的受控实验作为数据点，已经比大多数现有研究扎实得多。