数据工程观察 · Vol.25

合成数据生成的质量瓶颈与突破：从「有就行」到「怎么才算好」的范式转换

深度解读2026年合成数据生成领域的最新进展——质量评估框架、多模态合成、文档改写增强、以及合成数据在预训练中的规模化应用挑战与解决方案

2026年4月26日 synthetic data data generation quality assessment document rewriting pretraining multimodal synthesis data augmentation 合成数据质量评估文档改写

本期主题：合成数据——从「数量竞赛」到「质量瓶颈」的转折点

2024-2025年，合成数据生成经历了爆发式增长——从代码生成到数学推理，从多模态对话到文档改写，合成数据似乎成了解决数据稀缺的万能钥匙。但2026年的研究开始揭示一个更复杂的现实：合成数据的质量瓶颈比我们想象的更严重，而突破这个瓶颈需要全新的方法论。

本期，我们聚焦合成数据生成领域在2026年4月的最新进展，特别是三个关键问题：

如何评估合成数据的质量？——从简单的困惑度指标到多维度的对齐度评估
合成数据如何真正提升预训练效果？——从「有就行」到「怎么配比才有效」
多模态合成数据的独特挑战——当合成从文本扩展到视频、代码、医学图像时

一、质量评估框架：从困惑度到对齐度

1. How Can We Synthesize High-Quality Pretraining Data? (Joel Niklaus et al., 2026)

核心贡献：提出了第一个系统性的合成数据质量评估框架，将质量分解为三个维度：

维度	评估指标	含义
表面质量	困惑度、语法正确性、流畅度	文本的表层质量，传统指标
语义质量	事实准确性、逻辑一致性、信息密度	内容的真实性和合理性
对齐质量	下游任务适配度、分布匹配度、多样性	与目标应用的对齐程度

关键发现：

表面质量与下游性能的相关性仅为 0.3-0.5——高困惑度的合成数据有时反而带来更好的泛化能力
语义质量是预训练效果的关键预测器——事实错误和逻辑矛盾会显著拖累模型学习
对齐质量需要任务特定的评估——通用合成数据在特定任务上可能适得其反

对实践的启示：合成数据评估不能只看困惑度。建议建立三阶段评估流程：(1) 表面质量快速筛选，(2) 语义质量人工抽检，(3) 对齐质量通过小规模预训练实验验证。

2. FinePhrase: A 486-billion-token open dataset (同一论文的实践应用)

方法：基于上述质量框架，作者构建了 FinePhrase——一个 486B token 的合成数据集，通过文档改写策略生成。

改写策略对比：

原始文档 → 改写策略 → 合成数据质量
─────────────────────────────────────
技术文档   释义改写    语义保留度高，但多样性有限
学术论文   摘要改写    信息密度提升，但可能丢失细节
代码注释   风格统一    可读性提升，但可能引入偏见
新闻文章   视角转换    多样性丰富，但事实准确性风险

关键洞察：改写策略的选择比改写模型的大小更重要。不同文档类型需要不同的改写策略，一刀切的方法会导致质量参差不齐。

二、多模态合成数据的独特挑战

3. VAG: Dual-Stream Video-Action Generation for Embodied Data Synthesis (Xiaolei Lang et al., 2026)

背景：具身智能需要大量的视频-动作对齐数据，但真实标注成本极高。

核心创新：双流视频-动作生成框架，同时合成视频内容和对应的动作指令。

技术要点：

视频流：基于扩散模型生成逼真的动作序列
动作流：基于语言模型生成精确的动作描述
对齐机制：通过跨模态注意力确保视频内容与动作指令的一致性

质量挑战：

时序一致性：合成视频中物体的运动需要符合物理规律
指令精确性：动作描述需要与视频帧级内容对齐
多样性控制：避免生成过于相似的动作序列

对实践的启示：多模态合成数据的质量评估需要模态特定的指标。对于视频-动作数据，需要评估：(1) 物理合理性，(2) 指令-视频对齐度，(3) 动作多样性。传统的文本质量指标不再适用。

4. MuPD: A Generative Foundation Model for Multimodal Histopathology (Jinxi Xiang et al., 2026)

医学领域的特殊挑战：合成医学图像需要极高的准确性和安全性。

质量保障策略：

专家验证循环：合成数据必须经过病理学家验证
分布保真度：合成图像需要匹配真实病例的统计分布
异常检测：避免生成不合理的病理特征组合

关键结果：通过合成数据增强，小样本分类准确率提升 47%，但前提是合成数据经过严格的专家验证。

三、代码合成数据的质量突破

5. An Empirical Study on Influence-Based Pretraining Data Selection for Code Large Language Models (Chengli Xing et al., 2026)

核心问题：在代码预训练中，如何选择最有价值的合成数据？

方法：提出影响力加权选择（Influence-Weighted Selection）框架：

训练影响力估计：基于模型在验证集上的表现，反推每个训练样本的贡献度
合成数据筛选：优先选择与高影响力真实数据分布相似的合成数据
动态调整：根据训练进度动态更新选择策略

关键发现：

合成数据的价值高度不均匀——10% 的高质量合成数据贡献了 80% 的性能提升
影响力估计比人工标注更有效——自动化的数据选择策略优于基于规则的质量过滤

对实践的启示：代码合成数据的选择应该数据驱动而非规则驱动。建议建立影响力估计管道，实时评估合成数据对目标任务的贡献度。

6. Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining (Zhiyuan Zeng et al., 2026)

范式创新：通过逆向软件开发过程生成高质量的代码合成数据。

方法：

需求→设计→实现的逆向：从最终代码反推设计意图和需求
重构增强：对现有代码进行语义等价但结构不同的重构
测试用例生成：为合成代码生成对应的测试用例验证正确性

质量优势：这种方法生成的代码具有更好的语义一致性和可维护性特征。

四、合成数据在预训练中的规模化挑战

7. Nexus: Same Pretraining Loss, Better Downstream Generalization via Common Minima (Huanran Chen et al., 2026)

核心问题：为什么相同预训练 loss 的模型在下游任务上表现差异巨大？

答案：优化轨迹的差异导致模型收敛到不同的局部最小值，而这些最小值具有不同的泛化特性。

对合成数据的启示：

合成数据改变了优化轨迹，可能引导模型收敛到更好的局部最小值
但也可能引导到更差的局部最小值——取决于合成数据的质量分布
关键指标：不仅看最终 loss，还要看优化过程中的损失曲面特性

8. Synthetic Rewriting as a Quality Multiplier (Thales Sales Almeida et al., 2026)

质量倍增策略：通过对低质量数据进行合成改写来提升整体数据质量。

改写管线的四个阶段：

原始数据 → 质量评估 → 改写策略选择 → 合成改写 → 质量验证
    ↓           ↓           ↓           ↓         ↓
低质量数据   识别缺陷   匹配最优策略   提升质量   确保改进

关键发现：改写策略的成功率取决于缺陷类型：

语法错误：改写成功率 >90%
事实错误：改写成功率 ~60%
逻辑矛盾：改写成功率 <30%

五、合成数据配比的最佳实践

基于上述研究，我们总结合成数据在预训练中的最优配比策略：

配比决策框架

合成数据配比决策树：

是否有高质量真实数据？
├── 是：合成数据占比 10-30%（增强多样性）
└── 否：合成数据占比 50-70%（主体训练数据）
    ├── 任务是否高度结构化？（代码、数学）
    │   ├── 是：偏向生成式合成（70%）
    │   └── 否：偏向改写式合成（50%）
    └── 是否有可靠的评估框架？
        ├── 是：可适当提高比例
        └── 否：保守配比（≤50%）

质量-数量权衡

场景	合成数据策略	风险控制
数据稀缺	高比例合成（60-80%）	严格的质量验证循环
数据充足	低比例合成（10-20%）	聚焦多样性增强
领域适应	中等比例（30-50%）	领域特定的质量评估

本期思考

2026年的合成数据研究揭示了一个根本性的转变：我们从关注「能生成多少数据」转向「生成的数据有什么用」。这个转变的标志是质量评估框架的成熟和任务对齐意识的觉醒。

对数据工程从业者的三条核心建议：

第一，建立多维度的质量评估体系。 不要依赖单一的困惑度指标。表面质量、语义质量、对齐质量需要分别评估，特别是对于多模态和领域特定的合成数据。

第二，合成数据的选择应该数据驱动。 影响力加权选择等自动化方法比基于规则的质量过滤更有效。让模型自己告诉你哪些合成数据最有价值。

第三，配比决策需要基于任务特性。 合成数据不是越多越好。高度结构化的任务（代码、数学）可以承受更高的合成数据比例，而开放域任务需要更谨慎的配比。

最终，合成数据的价值不在于它替代了多少真实数据，而在于它能否引导模型收敛到更好的优化轨迹。这是2026年合成数据研究带给我们的最深层次启示。

下期预告：预训练数据的安全与合规前沿——从数据污染检测到版权合规，构建可信的数据供应链

Sources: