数据论文速递 · 2026年09月17日

本期概览

本期五篇论文落在合成数据的三条战线上：怎么造、怎么管、怎么防。NeMo Data Designer 与 OmniTable 给出生成侧与治理侧的工程答案，OPEN-1B 把「训练过程可审计」推到位级确定性，剩下两篇处理风险量化——差分隐私合成文本的子群泄露审计，以及高维线性回归下混合训练与两阶段训练的分野。

一、NeMo Data Designer：把多模态合成数据生成写成可检视的配置

论文信息：NeMo Data Designer: An Extensible Framework for Multimodal Synthetic Data Generation，arXiv:2609.17699，2026-09-15，11 位作者。

核心问题：合成数据生成长期是脚本堆砌。列与列之间的依赖关系散落在代码里，换一个任务就要重写一遍，旁人也难以复现同一批数据。

关键发现：NDD 用声明式配置描述数据集的每一列，列类型覆盖文本、代码、结构化输出、图像、嵌入与统计采样器，统计采样器可显式配置以控制多样性，插件系统支持扩展新列类型。配置本身是可检视的产物，便于共享与复现。生成流程内置预览—修订循环：先产出少量样本、检查、修订规格，再全量生成；运行时由框架解析依赖、调度用户提供的模型端点并重试失败请求。案例覆盖结构化、智能体、多模态与领域专用任务，包含 Nemotron 模型开发与生产环境部署中使用的数据集。

实践启示：把数据规格从代码里抽出来当一等公民，是合成数据管线能复用、能评审的前提。统计采样器显式化尤其值得照搬——多样性不该靠换 prompt 碰运气。

二、OmniTable：35 PB 训练数据的统一宽表层

论文信息：OmniTable: A Unified Wide-Table System for Petabyte-Scale LLM Data Curation and Exploration，arXiv:2609.11148，2026-09-10，19 位作者，VLDB 2026 最佳工业论文。

核心问题：工业级 LLM 的数据治理卡在三个地方——PB 级非结构化语料散落在数百张物理表上，特征工程依赖人工的、以表为中心的流水线编排，数据血缘基本缺失。

关键发现：论文提出「逻辑统一、物理分离」的宽表层架构，四点贡献。统一宽表抽象通过逻辑—物理映射，把多源异构数据与数千个派生特征收在单一逻辑 schema 下。声明式特征生命周期管理自动完成依赖解析、执行规划、算子融合与血缘追踪，用「声明即执行」取代手工编排。自适应执行引擎具备自治治理能力，通过异构算力路由（CPU/GPU）、自适应调优、UDF 级容错和存储布局自动优化，实现稳定的 PB 级特征回填。混合加速的数据探索结合全局 ID 索引、透明 OLAP 卸载与后台物化视图，把点查做到秒级，过滤导出超过 20 TB/小时。生产环境中，OmniTable 管理超过 35 PB 训练数据，覆盖 web、code、PDF、SFT 四个域，人工参与的治理周期从约 14 天压到约 2.5 天，即 5.6 倍提升。

实践启示：特征口径统一之后，清洗规则的迭代速度才跟得上模型迭代。14 天到 2.5 天这个数字说明，治理瓶颈往往不在算法而在编排层。

三、OPEN-1B：让每一步训练都能在异构硬件上重放

论文信息：OPEN-1B: A Fully Auditable Training Run，arXiv:2609.17380，2026-09-15，9 位作者。

核心问题：开源模型即便放出权重、训练数据与配方，浮点运算的非结合性也让它们无法被证明可复现。框架的确定性模式只在同一批机器上成立，跨硬件即失效，于是没人能验证某个发布的检查点确由声明的配方产出；未公开数据、注入偏差、后门这类问题，现有的 proof-of-learning 与 proof-of-training-data 都排除不掉。

关键发现：作者提出「完全可审计」这一层透明度，对训练非确定性的三个来源施加确定顺序——GPU kernel 归约、数据并行集群上的批次排序、节点内与节点间的集合通信——使大规模分布式训练的任意单步都能在一台商用硬件上重放，并与公布的轨迹逐位比对。整跑重放不现实，配套方案是集体验证：多个独立审计者各自认证若干步骤，合起来覆盖全程。随论文发布 Open-1B 模型、完整预训练数据集与每一个中间检查点。

实践启示：数据可追溯的终点不是「公布了数据集清单」，而是「任何一步都能被陌生人独立重算」。做数据配比实验时保留可重放的执行轨迹，成本比事后补审计低得多。

四、差分隐私合成文本的子群成员推断审计

论文信息：Subgroup Membership Inference Audits of Differentially Private Synthetic Text，arXiv:2609.09848，2026-09-09，5 位作者。

核心问题：合成数据被当作敏感数据的可共享替身。差分隐私为最坏情况泄露划了界，已有的成员推断审计只测随机抽取记录的平均风险，脆弱子群的真实风险就此被藏起来。

关键发现：作者定义了子群定向的成员推断博弈，目标池作为显式参数，并用 32 个代理、三种攻击者知识场景、四个数据集、三种生成器（DP-SGD 微调、API 提示、激活引导）与五个隐私预算展开审计。合成数据确实泄露子群成员身份，已有攻击系统性低估这一泄露。DP 在聚合层面有效，每个预算下的平均泄露都大幅下降。三点保留意见随之而来：剩余泄露是集中的而非平摊的，DP 下约十分之一的记录承载约 40% 的泄露；DP 的实际保护并不均匀，在最坏情况保证之内，噪声从随机记录上抹掉的泄露多于从高风险记录上抹掉的，合并池审计（两类记录对同一组负样本打分）在记录层面确认了这一点。

实践启示：报「DP 训练，ε=x」不足以说明安全性。对外发布合成数据前，应按子群而非总体做泄露审计，重点看高风险记录的尾部。

五、合成数据何时塌、何时不塌：两种训练协议的风险界

论文信息：Learning with Synthetic Data via SGD in High-Dimensional Linear Regression，arXiv:2609.09572，2026-09-09，2 位作者。

核心问题：合成数据能把训练规模推过人类数据的上限，也可能引发强模型塌缩——固定比例的合成数据会让性能在数据缩放时不再改善，留下一个不随数据量消失的 excess risk 下界。

关键发现：论文在带模型偏移的高维线性回归中分析 one-pass SGD，给出混合训练与两阶段训练的有限样本风险界，把标准的偏差—方差与源不匹配效应分开：混合训练带来波动与持续漂移，两阶段训练带来被过滤的初始化偏差。两者的对比鲜明——混合训练诱发强塌缩，两阶段训练只在第一阶段使用合成数据，从而避开这个下界，说明在数据课程层面做一点调整，塌缩就不是必然。在随机 sketch 模型下，论文进一步得到两种协议的缩放律，混合训练在优化饱和区的结果是紧的：模型越大，混合训练下的合成数据退化被放得越大；两阶段训练下优质合成预训练可以降低偏差。作者还给出有限样本充要条件，刻画在相同真实数据预算与相同真实阶段更新下，两阶段训练何时严格优于纯真实训练。

实践启示：塌缩不是合成数据的属性，而是数据课程的属性。可操作的形态是把合成数据压到前段做预训练，后段留给真实数据。

小结

五篇连起来看，合成数据的工程重心已经从「能不能生成」挪到「规格能否评审、泄露能否按子群量化、塌缩能否用课程规避」。生成框架与治理平台解决的是前半个问题，审计与理论工作则给后半个问题划出了边界。