数据工程观察 · 2026年08月14日

引言

本期聚焦”数据信号理论走向实操”这一主线。Epiplexity 从理论概念走向在线数据选择与合成数据生成的训练信号，为 OOD 泛化提供了可操作的优化目标；Meta 与牛津团队用受控实验揭示多模态预训练数据配比的”物理定律”，将语言 70% / 理解 25% / 生成 5% 的不对称最优配比从经验直觉提升为可复现的实验结论；LLaDA MoE v2 首次建立扩散语言模型缩放定律，以 65% 预训练 token 匹配自回归模型性能；上海 AI 实验室 SKT 揭示未经验证合成数据的严重危害，建立严格的数据验证范式；DOE Genesis 开放科学模型预训练数据征集今日截止，国家级科学预训练数据基础设施进入实施阶段。

---

Epiplexity 首次操作化为数据选择与合成数据在线训练信号

事件概述

NYU 与 Inherent 研究团队发表 arXiv:2608.11746，首次将 Finzi et al. 2026 提出的”epiplexity”（结构信息度量）从理论概念操作化为两个实际训练场景的在线信号：预训练数据域选择与合成数据生成。

技术细节

Epiplexity 衡量的是”计算受限的学习者能从数据中提取多少有用结构信息”，其简单近似为训练损失曲线上方面积。重复序列 epiplexity 低（可学习但可压缩），噪声也低（不可学习），而”让模型持续大幅降低损失”的数据 epiplexity 高。本文两个核心方法：

1. 数据选择：拟合跨域缩放定律预测每个域的期望 epiplexity 增益随训练 token 变化的函数，据此自适应调整域采样权重。每 1000 步重拟合缩放定律，利用新观测到的 loss 轨迹更新预测。
2. 合成数据生成：将生成器的奖励定义为”学习者 epiplexity 的变化量”，用 REINFORCE 策略梯度引导生成器向 epiplexity 最大化分布演化。

关键验证：epiplexity 与零样本准确率 Pearson r=0.88、Spearman ρ=0.90，而权重范数与 OOD 准确率无相关（r=0.01）。这表明 epiplexity 不是”模型变化了多少”的替代指标，而是真正携带了结构信息质量的信号。

对大模型数据工作的影响

Epiplexity 为数据选择与合成提供了统一理论框架——“让模型学得更费力的数据”往往携带更多可迁移的结构信息。这与”困惑度/质量分数”等静态指标有本质区别：epiplexity 是在线、动态、与训练过程耦合的信号。对预训练数据策展团队而言，该方法提供了一条无需下游任务标注即可优化 OOD 泛化的路径，尤其适合数据受限场景下确定”哪些域值得多训”。

---

Meta + 牛津揭示多模态预训练数据配比的”物理定律”

事件概述

Meta FAIR、Meta Reality Labs 与牛津大学联合发表 arXiv:2608.05000，通过大规模受控实验系统揭示统一多模态模型中语言、视觉理解与视觉生成三者之间的数据配比规律，提出四条核心定律，并用 13.5B MoE 模型在 2T token 上验证。

技术细节

研究在数十个 1T token 训练实验中进行数据配比网格搜索，揭示四条定律：

1. 知识流单向性：语言→视觉理解/生成有巨大帮助（语言数据从 0%→80%，视觉任务单调提升）；视觉生成→语言几乎零帮助。知识流动是单向的。
2. 不对称最优配比：语言 70% + 视觉理解 25% + 视觉生成 5% 为最优，生成仅需理解数据的五分之一。
3. 模态专属前馈网络：MoE 架构中前馈网络按模态分开（“竞争防火墙”），共享注意力为”协作桥梁”，优于密集架构。
4. 早期联合训练优于晚期对齐：视觉”懒惰”一旦形成就难以弥补，从一开始就联合训练至关重要。

对大模型数据工作的影响

这条”70/25/5”定律为多模态预训练数据配比提供了从经验直觉到实验结论的跃迁。此前业界多采用”均衡分配”策略，本研究证实极度不对称配比反而全面更优。对数据策展团队而言，这意味着视觉生成数据的采集和标注成本可以大幅压缩（5% 即可），而语言和视觉理解数据的高质量才是关键瓶颈。共享注意力+专属前馈的架构-数据协同设计原则也值得后续模型参考。

---

LLaDA MoE v2：扩散语言模型缩放定律指导 65% token 效率预训练

事件概述

人大高瓴人工智能学院与蚂蚁集团联合发布 LLaDA MoE v2（arXiv:2608.03457），首次系统刻画扩散语言模型（掩码去噪目标）的缩放定律，并据此训练 30B-A3B MoE 模型，仅用同规模自回归模型约 65% 的预训练 token 即逼近 Qwen3-30B-A3B 性能。

技术细节

三个层面的缩放定律贡献：

1. 超参数缩放定律：在 158M-3.6B 规模与 FLOPs 跨度上搜索，发现扩散模型最优批量大小随算力增长比自回归模型更陡（同算力下 343 万 vs 102 万 token），最优学习率衰减更快——源于掩码去噪中有效监督强度下降。
2. IsoFLOP 算力分配：最优模型侧算力以 0.475 次幂增长，数据侧以 0.525 次幂增长，略偏向数据——与自回归模型的 Chinchilla 最优略有不同。
3. MoE 架构选择：稀疏 MoE 在扩散模型上同样有效，30B 总参/3B 激活的设计在算力与性能间取得最优权衡。

对大模型数据工作的影响

这项工作从数据效率角度拓展了预训练范式选择空间：扩散语言模型用更少 token 达到可比性能，意味着在数据受限场景下可能成为自回归模型的有效替代。缩放定律提供的超参数标尺让大规模训练无需凭经验调参。对数据工程团队而言，不同预训练目标函数下的最优数据量配比差异显著，不能简单将自回归模型的缩放定律套用到扩散模型。

---

SKT 严验证技能使用训练数据：未经验证合成数据致性能全面退步

事件概述

上海人工智能实验室发表 arXiv:2608.02287，提出 SKT（Skill-use Training at Scale）大规模技能使用训练方案，从 2000 项公开技能自动生成 4000 考题/27164 条验证轨迹作为训练数据，并配套 SkillEval 评测集。核心发现：未经验证的合成数据导致模型四场景全部退步（最高降 19.5 分），而严格验证后的数据四场景全部提升。

技术细节

SKT 数据生产管线包括三道质量关卡：

1. 技能-任务适配验证：题目必须依赖技能手册才能回答（不依赖手册直接淘汰）、难度足够（太简单淘汰）、题目描述无漏洞。
2. 多智能体执行验证：由执行智能体实际使用技能手册完成任务，确保每条轨迹可执行、结果可复现。
3. 异常轨迹剔除：人工审查 + 自动检测删除格式错误、幻觉、循环等异常轨迹。

对比实验：未经验证的原始合成数据训练后，AI 在四个测试场景全部退步（最大降 19.5 分）；SKT 严格验证数据则四场景全部提升（提供技能手册后提升 8.68-18.91 分）。数据质量的严格把控远比数量堆叠重要。

对大模型数据工作的影响

SKT 的核心启示是对合成训练数据验证范式的严肃警示——“未经验证的合成数据有害”不是假设而是实验事实。随着合成数据在 SFT/RL 训练中占比持续攀升，这道”验证关卡”不应被视为可选项。尤其对智能体训练数据，执行环境的真实性验证（而非仅文本流畅度评估）是数据质量的核心保障。该工作配套的 SkillEval 评测集采用与训练数据完全不同的技能池，严格防止数据泄漏。

---

DOE Genesis 开放科学预训练数据征集首期截止

事件概述

美国能源部（DOE）Genesis Open Models Initiative 预训练/中训练数据首期征集于 8 月 14 日截止。该项目旨在构建开放权重的科学基础模型 GS1，Arcee AI 为首个产业合作方（负责从数据准备到预训练全流程），采用双轨征集机制。

技术细节

征集分两条贡献通道：

1. 基础训练数据：科学文本、代码、技术文档、结构化专业数据集，适用于预训练、中训练和上下文扩展。首期截止 8 月 14 日。
2. 后训练资源：专家示范、任务标注、科研软件、完整工作流环境、RL 任务、独立评测集、评分规则及验证器。首期截止 8 月 25 日。

候选资源需经科学价值、数据权利与处理方式、专家与评测准备程度、技术集成、最终项目选择五道审核。入选团队可提前接触模型评测并参与后续开发。能源部特别强调”开放权重”的现实考量：国家实验室需要在内网设施中固定运行模型版本数年，并针对核物理/材料/聚变等小众领域深度改造——依赖外部 API 无法满足这些需求。

对大模型数据工作的影响

DOE Genesis 标志着国家级科学预训练数据基础设施从规划走向实施。双轨征集机制（预训练数据 vs 后训练资源）反映了训练流水线分阶段的数据需求差异化。对国内科研数据生态而言，这一模式提供了参考：开放权重+社区贡献+多轮审核+内网部署的闭环设计，尤其适合需要长期稳定运行的科研场景。首期征集结果将直接影响 GS1 的数据配方与训练方案。