数据工程观察 · 2026年10月12日

本期五条围着一个老问题转：真实数据拿不到、不够用、太贵的时候，我们拿合成数据、域外数据、打分器、自动标注顶上去，顶完之后那把验收的尺子还立得住吗。SAP 把「结构有效性」和「分布保真度」拆成两把尺子分别量；RefineMix 把域外数据按噪声档位投放，把「能不能用」换成「在哪一档用」；AG-FORGE 给出一条不太舒服的结论——纯合成数据能追平真实数据，却推不动性能边界，除非模型容量跟着一起扩；语音质量分那篇直接去量打分器自己有多容易被攻破；Apple 的翻译标注审计则把尺子掉头对准人类，量出人和模型的一致性都不过阈值。

一、STS：把结构有效性交给执行环境，合成数据只剩一把尺子要量

事件概述：SAP Labs 提出 Synthesis Through Simulation（STS），不再让模型凭空”写”企业数据，而是让 LLM 智能体在模拟企业环境里调用带策略校验的 API，数据由执行过程本身产生。配套的 Generalist Populator（GP）只拿 API 工具清单，不拿数据库 schema，在十个企业环境上拿到 100% 约束满足。论文写明框架、十个环境与生成数据全部开源，但截至本期发稿，github.com/SAP/synthesis-through-simulation 仍返回 404，代码尚未上线。

技术细节：STS 的核心设计是让”有效性”由环境保证——凡是被 API 接受的轨迹，产出的库状态必然自洽，于是结构有效性成了构造性结论，VPR 恒为 1.0。剩下要量的是分布保真度，论文拆成三项 JSD 相似度：MDF（逐列边际）、PDF（表内列对联合）、CDF（外键上子记录数分布）。GP 在 airline 上 MDF 0.973 / PDF 0.900 / CDF 0.949，IT Mgmt 0.966 / 0.902，E-commerce MDF 0.983，五个环境 MDF 越过 0.93；拖后腿的是 Retail 0.709、Pharmacy 0.804、University 0.809。CDF 在 Forum 只有 0.318、Banking 0.421，原因是规划器用世界知识估任务类型概率，把”建实体”和”后续操作”配成大致等权，而参考先验期望每个账户累计 5–30 笔交易。对照面更值得看：CTGAN、TVAE、HMA、REaLTabFormer 在十个环境里有七个因无种子行根本不适用，在 airline（8 行）、retail（10 行）、banking（20 行）三个有种子行的环境上 VPR 最高只到 0.923；拿到完整 schema 与业务规则的 EnvScaler 在 airline 上 82% 轨迹零写入，因为任务生成时写死的实体 ID 到执行时已过期。消融也指向同一处：关掉 Plan 阶段后单次轨迹写入量从 0.61 涨到 16.7 次预订，MDF/PDF/CDF 分别掉 0.065/0.062/0.071，往返票比例从 52.5% 塌到 7.9%（参考先验 55%）。探索预算 K 从 0 加到 3 时 PDF 由 0.813 升到 0.900 后走平，K 再往上 CDF 反而下滑。

对大模型数据工作的影响：下游验证给了一条干净的对照——在 τ²-bench airline 上，用 STS 填充的库状态做 SFT，Qwen2.5-7B 的 pass@k 从 base 的 0.286 升到 0.500，拿预置种子库做 SFT 只到 0.375，且后者在 AUC 与 Mean Progress 两项上没能超过 base。增益来自状态多样性，不来自 SFT 曝光本身。代价也摆得清楚：单轨迹 41–118 秒，每轨迹 $0.027–0.172，每次写入$0.008–0.078，比统计合成器慢三个数量级，换的是七个环境从”不可用”变成”可用”。对做企业侧工具调用语料的团队，这篇的价值在于把两件事分开记账：结构的合法性不该让生成模型去学，分布才该学。

相关链接：https://arxiv.org/abs/2610.10549 、https://arxiv.org/html/2610.10549v1

二、RefineMix：域外数据不是不能用，是要摆在对的噪声档位

事件概述：NeurIPS 2026 两个 Workshop 收录的 RefineMix 处理一个常见困境——目标域只有几千条样本，源域有几亿 token，直接混着训会把采样分布带偏，只用目标域又丢掉预训练学到的东西。做法是让源域样本只在扩散时间 t ≤ t_max 的档位参与训练。

技术细节：离散扩散与连续扩散的关键差别在 masking：高斯噪声把信息抹掉，mask 却让幸存 token 继续带着域信息，所以在高噪声档投放源域会污染采样分布；低噪声档时两域支撑集近乎不交，源域数据反而可以白用。实现上只动数据加载器——每个样本是一条”目标块 + 源块”，按 t 决定这一梯度步喂哪一块，λ=0.9。四个公开扩散语言模型、三个目标域上，RefineMix 的目标验证 perplexity 全部最低：MDLM 130M 在 Rare disease 上 14.933±0.016，微调 15.703±0.033、数据混合 15.770；SMDM 1.1B 在 ChemRxiv 上 10.649±0.019，微调 11.022±0.029、混合 11.570；DiffuLLaMA 7B 在 ChemRxiv 上 10.471±0.001，微调 10.661±0.002、混合 12.730。最佳 t_max 随域间距离移动，近域落在 0.7–0.9，Patents-G → AG News 掉到 0.2。最有说服力的实验在蛋白上：以 peroxiredoxin 家族为目标，每个折只有 197–200 条训练序列、约 39k token，从 DPLM-650M 出发，三项标准（属该家族、ESMFold pLDDT>70、对训练集无 90% 以上同源）一次性全部满足的生成比例，RefineMix 拿到 63.3%±2.0，微调 35.8%±4.6，数据混合 32.9%±2.2，真实留出蛋白的天花板是 75.1%±5.7，通用 UniRef50 的下限是 0.0%。换 uniform kernel 结论不变，cc_news → Hep-Ex 上 RefineMix 7.96±0.01 对微调 8.49±0.03、混合 8.76±0.02。

对大模型数据工作的影响：这篇把”要不要混域外数据”这个二选一的问题，改成了”混在训练的哪个阶段”。它给出的可操作信号是投放档位可以用损失差 g(t) 的转正点定位，再以 0.1 为步长往两侧搜，不必靠猜。对做领域适配的团队，一条更实用的提醒藏在消融里：目标域越小收益越大（CS → Math 从 100% 目标数据一路降到 1%，RefineMix 的优势单调放大），这与”数据越少越该谨慎混”的直觉相反。论文也留了缺口——新颖性指标上 RefineMix 89.8% 略低于微调的 99.0%，量的是”像不像目标域”，不是”新不新”。

相关链接：https://arxiv.org/abs/2610.12340 、https://arxiv.org/html/2610.12340v1

三、AG-FORGE：合成数据追平真实，推不动边界

事件概述：通用图异常检测（GAD）长期缺真实异常图，AG-FORGE 用”结构—特征—异常”三级级联批量合成带标注的异常图，配一个容量更大的 TS-GGAD 与按难度排课的课程学习，在 14 个真实数据集上做评测。

技术细节：最值得记住的是那句自曝的结论——把现有通用方法的训练数据从真实图换成 AG-FORGE 合成图，性能基本持平：ARC 的平均排名 5.86 → 6.57，IA-GGAD 5.43 → 5.71，UNPrompt 10.36 → 10.71，ReFi-GAD 4.50 → 3.86。合成数据追平了真实数据，却没有把边界往外推一分。要越过这条线得三件事一起动：更大的架构、拓扑与语义双流、以及课程学习。换上 TS-GGAD 之后平均排名进到 1.00，14 个数据集全部第一，平均 AUROC 超过最强的 ReFi-GAD 5.39%。拆开看，去掉拓扑流掉 20.48%，去掉课程学习掉 5.43%，去掉语义流掉 4.58%；合成侧去掉一个结构生成策略平均掉 2.33%，特征策略 1.80%，异常策略 1.07%。缩放曲线也印证了”追平但推不动”的解释：训练数据从 5k 节点拉到 1M、参数从 10^4 拉到 1.5×10^6 时性能一路上升，参数过百万的模型要 500k 节点才吃饱，AUROC 破 86% 只发生在”大数据 + 大模型”那一角。t-SNE 可视化给出了覆盖度上的解释：真实样本聚成几块孤立区域，合成样本铺成更宽更连续的分布，与真实区重叠，并盖住真实样本稀疏的地带。

对大模型数据工作的影响：这是一份少见的、把”合成数据够不够”拆成两个问题的实证：够不够用来替代真实数据（答案是可以，四个通用方法换数据后波动都在一个名次以内），够不够用来提升上限（答案是不行，得把容量和课程一并扩上去）。做合成语料的团队可以按这个顺序验收：先确认换源不掉点，再去问增益；如果只做第一步，很容易把”没掉点”误读成”还有空间”。

相关链接：https://arxiv.org/abs/2610.12167 、https://arxiv.org/html/2610.12167v1

四、用来筛数据的质量分，自己经不经得起量

事件概述：语音质量预测器（MOS 预测器）现在一身二用——一边当评测尺子，一边当 RL 奖励和语料过滤器。这篇论文补了两件缺的东西：一套统一的”可攻击性”测量协议，以及四个常用预测器在同一扰动强度下的横向对比。

技术细节：协议修了两处。第一处是参照系：扰动要经过一条处理链（这里是一个神经 codec）才传到预测器，codec 自己就会让分数偏移，用原始输入当参照会把这笔账算到攻击头上——四个预测器的偏移分别是 SSL-MOS −0.10、UTMOS −0.07、DNSMOS +0.02、NISQA +0.14，跨防御后最高到 +0.95，改对参照系后测得的可攻击性最多差四倍（某个防御从 0.31 变成 0.08）。第二处是重复数：攻击者本身是训出来的，五个只差随机种子的攻击者打同一个预测器，成功率从 0.000 跨到 0.382，所以防御声明得报多个攻击者的最坏值。在这套协议下，ε=0.5 的 EnCodec 潜空间扰动、500 条 BVCC 测试语句上，NISQA 平均被攻破 89.6%（得分增益 +0.954 MOS），SSL-MOS 20.5%，DNSMOS OVRL 13.6%，UTMOS 5.7%，最坏值 0.916 / 0.252 / 0.200 / 0.076，跨一个数量级。闭环 attack-detect-patch 审计的结果更冷：三轮之后 EnCodec 空间内成功率从 0.226 压到 0.017，跨到 DAC 空间反而从 0.065 升到 0.13–0.16，白盒 PGD 对所有单空间防御接近全中（0.999–1.000）；一个不用 RL、不用检测器的随机潜扰动基线，在同空间拿到最低的 0.019±0.016，与闭环打平。代价写在人类一致性上：域外系统 SRCC 从 0.731 一路降到 0.637，多空间版只剩 0.552；域内 BVCC 排序保住了（0.922 → 0.920），utterance MSE 却从 0.234 涨到 0.272。下游验证给了一个数：2.6M 参数增强器用 R0 当奖励做 GRPO，自身奖励涨 0.263，PESQ 掉 0.226；换成打过补丁的 R3，PESQ 只掉 0.034。

对大模型数据工作的影响：训练流程里那些”用学习到的质量分筛数据”的环节，都在这篇的射程内——TTS 与语音转换用它过滤语料、挑检查点、排排行榜名次。它给出的可执行判据有两条：换奖励模型是按鲁棒性排序的一阶决策，而排序结果无法从域内精度推出（NISQA 域内不差，却是四个里最容易被攻破的）；闭环打补丁只在自己训过的攻击空间里硬化，量的时候必须换空间测，否则读数会严重偏乐观。

相关链接：https://arxiv.org/abs/2610.10899 、https://arxiv.org/html/2610.10899v1

五、把尺子掉头对准人类：70 个语言对上的翻译标注审计

事件概述：Apple 的这篇 EMNLP 2026 论文把 LLM 当作 MQM 与 ESA 两套翻译质量标注方案的执行者，在长上下文测试集（70 个语言对）与 WMT23、WMT25 公开数据上，与人类标注者做一致性对比，四个模型是 Gemini 2.5 Flash、GPT-OSS-120B、DeepSeek-V3.1、Qwen3.5-397B。

技术细节：结论分两层。第一层是 LLM-人类一致性在若干任务上确实超过人类-人类；第二层是两者都远低于 Krippendorff α = 0.667 的暂定结论阈值，全文只有 ru_RU-en_US、zh_CN-en_US、zh_TW-en_US 三个人类-人类对比摸到这条线。在长上下文集的 MQM 分数上，“LLM-人类显著高于人类-人类 / 显著低于”的语言对计数分别是 Gemini 25/7、GPT-OSS 25/11、Qwen 10/18、DeepSeek 3/55；X-Y 方向（32 个语言对）Gemini 是 20/2，理由不体面——这个方向人类-人类本身就很低。换成更简单的 ESA 方案（WMT25，44 个语言对）后结论翻转：人类-人类在多数语言对上显著高于 LLM-人类，Gemini 8/20、GPT-OSS 3/32、DeepSeek 3/28、Qwen 6/23。span 标注是 LLM 的普遍短板：长上下文 MQM 上 span overlap 的人类-人类 F1 是 .36，四个模型是 .33 / .24 / .23 / .28，全类别显著低于人类基线；ESA 上 character overlap 人类-人类 .43，模型只有 .16–.18。具体缺口指向 minor 错误与错误语言变体——wrong language variant 这一类人类-人类 .21，DeepSeek-V3.1 .00。反过来这篇也给出一条正向用法：en_US-hi_IN 与 en_US-th_TH 上人类两轮之间的一致性为负或接近零，Gemini 与其中一轮的一致性明显高于另一轮，LLM 一致性可以用来标记可疑的人工轮次。

对大模型数据工作的影响：把 LLM 当标注器之前，这篇要求先做一次分语言对、分方案的一致性试测，而不是看整体平均——同一个 Gemini 在 Literary 域 12 个语言对里 4 个胜过人类基线，在 news 域 14 个里 6 个、social 域 14 个里 7 个输给人类基线。另一条更硬的提醒是：LLM-人类超过人类-人类不能当作”LLM 可以替代人类”的证据，因为分母本身不可靠（X-Y 方向就是这种情况）；按 Calderon 等人的告诫，这种超越往往只说明人类那两轮里有一轮出了问题。

相关链接：https://arxiv.org/abs/2610.10918 、https://arxiv.org/html/2610.10918v1