数据工程观察 · 2026年05月30日

本期聚焦端侧大模型数据分级治理的产业落地、非语言合成数据颠覆预训练范式、合成数据预训练的系统性缩放定律实证、AI for Science 领域数据基础设施化以及工业级预训练数据工程的系统回溯。数据工程正从”规模堆叠”向”精炼分级”和”范式创新”双轨并进。

面壁智能开源 Ultra-FineWeb-L3 与 UltraData-SFT-2605：端侧数据分级治理体系完整落地

事件概述

5 月 29 日，面壁智能联合清华大学、OpenBMB 开源社区发布并开源两大核心数据集：Ultra-FineWeb-L3（600B tokens，含 200B+ 中文）与 UltraData-SFT-2605（千万级深思考+非思考双模式 SFT 数据）。这是国内首次开源千万级同时包含深思考与非思考标注的 SFT 数据集，也是目前开源规模最大的中文预训练合成数据集。两大数据集已在 MiniCPM5-1B 的训练流程中完成全链路验证，覆盖从预训练退火到后训练 SFT。

技术细节

• L0-L4 五级数据分级治理体系：L0 原始网页→L1 基础清洗去重→L2 模型打分筛选→L3 大模型合成增强→L4 可验证结构化知识。核心转折在 L3：从”筛选”转向”合成”，用大模型对网页数据进行知识提纯与形态转换（改写为 QA 对、百科文档等），使 1B 小模型能高效吸收。
• L3 数据分级训练效果：相同训练算力下，L3 数据训练的模型比 L1 数据数学能力 +7.06pp，通用推理能力平均 +3pp 以上，且增益可跨域迁移至英文、中文和代码任务。
• Ultra-FineWeb-L3：用于预训练退火阶段，中英文逐级提升；UltraData-SFT-2605：覆盖数学/代码/知识/指令遵循，同时覆盖深思考与非思考标注。
• 完整数据溯源：每条数据可查完整处理记录。

对大模型数据工作的影响

面壁的 L0-L4 体系将”数据精炼”概念工程化、可操作化，对端侧小模型训练具有直接实操价值。L3 层”知识提纯再喂”的思路解决了小模型容噪能力为零的核心困境——数据不再追求”更多”，而是追求”更纯、更好吸收”。千万级深思考 SFT 数据的首次开源，也为推理模型的训练数据研究提供了重要参照。这一体系启示：数据治理不是一次性的清洗，而是逐级递进的精炼流水线。

MIT NCA Pre-Pre-Training：非语言合成数据颠覆预训练起点

事件概述

MIT Improbable AI Lab 发表论文”Training Language Models via Neural Cellular Automata”（arXiv:2603.10055），提出使用神经细胞自动机（NCA）生成完全非语言的合成数据，对 Transformer 进行预预训练（pre-pre-training），再转入自然语言预训练。仅 164M NCA token 即可提升下游语言建模最高 6%、加速收敛 1.6 倍，效果甚至超越使用 10 倍自然语言 token（1.6B CC token）的预预训练。

技术细节

• NCA 数据生成：随机初始化小型神经网络（3×3 卷积 + MLP）作为演化规则，在 12×12 网格上生成时空轨迹，展平为 token 序列。每次生成使用不同规则，迫使模型在上下文中推断隐藏规则。
• Zipfian 分布巧合：NCA 生成的序列展现出与自然语言高度相似的长尾统计特征，但在语义层面完全不包含任何语言信息——纯粹的结构先验。
• gzip 压缩率调控：通过 gzip 压缩比过滤 NCA 规则，实现针对下游领域调控合成数据复杂度——代码任务偏好更简单动态，数学和网页文本偏好更复杂动态。
• 注意力层最可迁移：可迁移性分析发现 NCA 预训练中学到的计算先验主要存储在注意力层。
• 与 Synthetic PPT 互补：此前 arXiv:2605.10129 的工作用 RNN 生成可学习时序结构做 PPT，NCA 则提供更丰富的时空涌现结构，两条路线殊途同归。

对大模型数据工作的影响

这项工作从根本层面挑战了”自然语言是智能唯一起点”的假设，证明纯粹的抽象结构学习可以成为有效的预训练起点。对于数据受限场景，NCA 预预训练提供了一条几乎零成本的数据增强路径（合成数据生成成本极低）。更重要的是，它揭示了预训练的本质可能不是学习语义内容，而是学习”如何推断和应用规则”这一元能力——这与近期 RL 推理模型的研究形成深层呼应。

Cerebras/Meta 合成数据预训练缩放定律：1000+ 实验的系统回答

事件概述

Cerebras Systems、Meta 和 Virginia Tech 联合发表大规模实证研究”Demystifying Synthetic Data in LLM Pre-training”（arXiv:2510.01631），训练超过 1000 个 LLM 变体（3B 参数，200B token），系统揭示合成数据在预训练中的作用条件与缩放行为。

技术细节

• 三种合成数据范式：高质量网页重述（HQ）、问答重述（QA）、合成教科书（TXBK），均基于 Mistral-7B-Instruct 生成。
• 核心发现——30% 黄金比例：约 30% 高质量重述数据与 70% 自然数据混合，可达最佳不可约损失（irreducible loss），甚至低于纯自然数据。训练速度提升 5-10 倍。
• 纯合成数据性能不佳：任何类型的纯合成数据均不如纯自然数据，纯 TXBK 数据差距尤为显著。
• 生成器非越大越好：8B 生成器优于 3B，但 70B 生成器产出数据并不优于 8B，甚至更差。表明存在能力门槛而非线性增益。
• 分布盲点弥补：混合有效的原因是不同数据源弥补了各自的分布盲点——这是多样性-质量权衡的实证支持。
• 挑战模型崩溃理论：在单轮训练中，重述类合成数据在可预见规模内不导致性能退化；但纯生成式教科书数据确实显现出模型崩溃的预测模式。

对大模型数据工作的影响

这项研究为合成数据在预训练中的使用提供了迄今最系统的实证指南：30% 混合比例可作为起点，重述优于纯生成，生成器选择需谨慎。它直接回应了”合成数据是否导致模型崩溃”的核心争论——答案是有条件的：取决于合成类型与混合策略。对于工业界，这套结论可直接转化为数据配方的操作规范。

LiteFold AminoWeb：AI for Science 的数据基础设施化

事件概述

5 月 29 日，LiteFold 在 Hugging Face 发布 AminoWeb——约 8TB 蛋白质机器学习数据集合，包含 29 个经过清洗、面向 ML 整理的数据集，覆盖序列、结构、功能注释、多序列比对、突变效应、稳定性、结合与相互作用等。

技术细节

• 数据源整合：将分散在 UniProt、PDB、AlphaFold DB、ESM Atlas、ProteinGym、MegaScale、Pfam、InterPro、GOA 等来源的蛋白质数据，统一整理为模型工程师可直接读取、检索、训练的形态。
• 异构数据对齐：解决不同数据源的组织方式差异（按序列 vs. 按结构链）、评分方向冲突（高分好 vs. 低分好）、标注粒度不一致等问题。
• 机器学习优先设计：不是提出新模型，而是将蛋白质 AI 常见输入与监督信号标准化，降低数据准备门槛。

对大模型数据工作的影响

AminoWeb 代表了 AI for Science 领域数据基础设施化的趋势——当模型能力已经进入大模型时代，数据层也必须从”散装”升级为”基础设施”。这与 NLP 领域的 FineWeb、DCLM 等开放语料库项目一脉相承，但面向蛋白质领域需要解决更复杂的异构数据对齐问题。对于跨领域数据工程实践，AminoWeb 提供了一个”数据基础设施化”的范本：统一格式、清洗标注、机器学习友好的 API 设计。

工业级 LLM 预训练数据工程综述：前沿实践的系统回溯

事件概述

近期一篇长篇综述系统梳理了 2020-2026 年间 GPT、LLaMA、Qwen、DeepSeek、Kimi、GLM、OLMo、Phi 等前沿模型的预训练数据工程实践，从公开技术报告和可交叉验证的证据中提炼数据工程的通用流程与方法差异。

技术细节

• 数据规模仍在扩张但效率成为核心：从 GPT-3 的 300B token 到 DeepSeek-V4/GLM-5 的 30-40T token，但 FineWeb-Edu、DCLM 证明更优过滤流程可带来数倍等效数据量提升。
• 合成数据已被多数前沿模型采纳：Qwen-3、Phi-4、Kimi-K2 均使用，DeepSeek-V3 是唯一明确排除合成预训练数据的主流模型。
• 预训练细分为多阶段：从 LLaMA-1 的固定配比，到 LLaMA-3 的退火阶段，再到 Qwen-3 的三阶段训练——课程化数据调度已成趋势。
• 数据工程披露正在减少：Qwen-3 对去重只字未提，LLaMA-4 甚至未发技术报告——数据工程成为核心竞争环节。
• 去重风险：模糊去重可能误删高频常见知识，缺乏区分爬取冗余与知识频率信号的方法。
• PDF/扫描解析栈成为关键补充：olmOCR、MinerU 等工具将纸质和学术内容转化为可训练 token。

对大模型数据工作的影响

这篇综述的发布恰逢其时：在数据工程披露持续减少的趋势下，从有限信息和交叉验证中提炼共识，为从业者提供了珍贵的”逆向工程”参考。尤其值得关注的是去重过度风险、合成数据的主流采纳率以及多阶段训练的细化趋势——这些发现直接关系到数据工程实践中的关键决策。综述也指出了关键开放问题：如何在去重时保留知识频率信号、小规模精选数据能否持续超越大规模语料、以及合成数据在迭代训练中的长期风险。