数据工程观察 · 2026年09月28日

本期五条动态指向同一个问题：一批数据凭什么算「可用」。合成侧的验收长期依赖「复现均值」这一类单指标，真实侧的验收长期依赖随机切分下的分数，这两种做法在本期的工作里都被拆开了。合成人群的效度需要按用途分域检验，合成病历要把每一条事实钉回来源，蒸馏监督的密度并非越高越好；真实诈骗语料的随机切分会让同一套话术同时落在训练与测试里，七个公开教育数据集里有四个过不了建模前的结构检查。

一、蒸馏监督只留 10% 状态：S²D-OPD 给 token 级监督做减法

事件概述

Direct On-Policy Distillation（Direct-OPD）把小模型做 RL 前后的 token 级 log-ratio 当作稠密监督，迁移到大一档的学生模型上。arXiv 2609.29142 指出这套监督里存在一类无效信号，并提出 Selective Supervision for Direct-OPD（S²D-OPD）：按 teacher-reference JSD 给学生采样的状态排序，把低分度状态上的监督 mask 掉，每条响应只保留 JSD 最高的 10%。

技术细节

作者给了一个精确构造：当两个 checkpoint 赋给学生候选 token 的概率质量一起趋近于零时，log-ratio 保持不动，Direct-OPD 的奖励与更新也保持不动，而两个 checkpoint 之间的 JSD 与两个方向的 KL 都已随这块质量一起消失。小 JSD 意味着 teacher 的行为在这一状态上没怎么变，监督自然也搬不动什么。按 JSD 排序后只留 top 10%，等于把监督预算压到真正发生策略位移的位置。

实验覆盖两对 teacher checkpoint（R1-Distill-1.5B → JustRL-1.5B、Nemotron-1.5B → QuestA-1.5B）与四个学生模型（Qwen3-1.7B / 4B / 8B、R1-Distill-7B），checkpoint 在 AIME24/25 上选，在 93 道留出题（AIME26 与两场 HMMT）上评，指标是 Avg@32。Qwen3-1.7B 上稠密版相对初始学生 +5.1 / +5.2，S²D-OPD 是 +6.3 / +6.8；Qwen3-4B 上从 +2.6 抬到 +4.2（第二对 teacher）；Qwen3-8B 在稠密版 +0.0 的那对 teacher 上拿到 +1.7。八个设置里七个优于稠密版，剩下一个打平，且不增加前向次数。

对大模型数据工作的影响

这条与「数据越多越密越好」的直觉相反：监督 token 数砍到十分之一，留出集精度反而更高。做后训练数据配比时，值得把「每个 token 都给监督」当作待检验的默认项，而不是基线。JSD 这类「teacher 是否真的在这一位置变了」的判据成本低、可离线算，可以直接接进蒸馏数据管线做逐状态过滤；对 RL 轨迹回放、自蒸馏数据的筛选也是同一套思路。

相关链接：https://arxiv.org/abs/2609.29142 、https://arxiv.org/html/2609.29142v1

二、合成人群的效度要分域验：Artificial Societies Benchmark 的 11 项检验

事件概述

用语言模型造「合成受访者」做调查与社会科学研究，正在成为一条省成本的取数路径。arXiv 2609.30030 提出 Artificial Societies Benchmark，用 20 个人类来源数据比对 9 个语言模型，给出 11 项检验组成的评分卡，回答「这批合成样本支撑得起你要做的那类分析吗」。

技术细节

11 项检验分三个域。内部效度四项：IV-1 重复提问（重测一致性，用精确一致率、Cohen’s kappa 与数值变化量对照人类重测变异）、IV-2 关联提问（合取概率这类逻辑约束的违反率与违反组合）、IV-3 改写提问（同意率与回答转移距离）、IV-4 扰动问卷（题器扰动下的回答位移）。构念效度三项：CV-1 题目协方差、CV-2 独立效标关联、CV-3 构念区分度。外部效度四项：EV-1 回答分布（总变异与归一化 Wasserstein 距离）、EV-2 群体与个体（条件分布、子群离散度、person loss）、EV-3 实验效应（处理效应误差的有符号与绝对值）、EV-4 潜结构（载荷、因子相关、序数不变性）。

论文给出的结论是分域不可互相担保：某一域表现好不代表其他域可信。观察到的共性是模型答得过于稳定、把量表压缩、改动特质之间的关系；给受访者填更丰富的画像，对一部分模型提升预测，对另一部分反而变差。

对大模型数据工作的影响

合成数据最常见的验收口径是「复现了人类平均值」，这条工作说明该口径只覆盖到 11 项里的一小部分。凡用 LLM 扩写样本、生成 persona、造标注或造评测集的团队，都需要按「这批数据要支撑什么分析」反查检验项：要估群体差异就得过 EV-2，要做因果或干预结论就得过 EV-3，要算相关系数就得过 CV-1/CV-3。评分卡的形式也适合直接改造为内部合成数据准入清单。

相关链接：https://arxiv.org/abs/2609.30030 、https://arxiv.org/html/2609.30030v1

三、合成病历要求每条事实可回溯：Synthetic Hospital 的溯源链设计

事件概述

真实电子病历受隐私与数据使用协议限制无法公开共享，且病历只记录医生写下什么，天然缺少可验证的真值。arXiv 2609.30027 发布 Synthetic Hospital：完全由公开医学教育材料构建、不含受保护健康信息的纵向 EHR 基准，全部事实锚定到 ICD-10-CM、SNOMED CT、LOINC，并保留回到源材料的完整溯源链。

技术细节

规模是 1,268 名纵向患者、5,602 次就诊，通过一套模拟医院记录系统提供服务，接口对齐真实 EHR 基础设施（标准互操作 API、基于角色的访问控制、function-calling 接口）。盲审中医生把它的记录与真实病历区分开的准确率是 53%，接近随机。10 个前沿与开源模型无一接近上限：最好的模型重建患者纵向问题清单的 severity-weighted F1 为 0.73，在匹配子集上与七位医生的平均水平持平，明显低于其中最好的一位（0.89）；做病历摘要时漏掉约一半有临床意义的发现。论文也明确列出边界：不显式模拟缺失、矛盾与记录错误，图导出的奖励可验证但不穷尽。

对大模型数据工作的影响

「合成数据不可验证」的根源通常不在生成模型，而在没有把生成结果钉到外部参照物上。这条工作给出的做法可直接迁移：每条生成事实挂本体编码、挂来源材料、挂时间关系，评测时按图比对而非按文本相似度打分。对做领域合成语料的团队，溯源链的元数据结构（谁生成、依据哪份源、锚定到哪个标准编码）应当与数据本体一并发布，否则下游无法判断一条错误来自生成还是来自源材料。

相关链接：https://github.com/sparkcpark/synthetic_hospital 、https://arxiv.org/abs/2609.30027

四、真实诈骗语料：采集工程、分组切分，以及合成训练的检测器崩塌

事件概述

arXiv 2609.29528 给出一个主动式语音智能体蜜罐采集的诈骗与骚扰电话语料。专用号码被投放到诈骗团伙搜集线索的渠道，来电由低延迟对话智能体以可信目标人设接起并维持对话，全程录音、转写、自动打标。初始 53 天窗口内捕获 10,015 通来电（6,601 通有两轮以上），约 895 小时音频、328,869 个转写轮次、5,665 个不同主叫号码。整体判定下约五分之三是「合法但掠夺性」的线索生成类骚扰，约七分之一（949 通）是 outright 诈骗。

技术细节

每条记录带轮次级转写、三通道音频、逐轮延迟遥测与多层标签（宽松 / 严格 / 整体三种「诈骗」定义分别保留，不合并成单个 flag），整体判定经独立人工复核，二分类一致率 75%。真实性验证的一环是：在被接起的通话里，智能体只有约 5% 被识别为非人类。

发布子集是 1,000 通（500 诈骗 / 500 骚扰），183,491 个轮次，时间跨 2026 年 5 月 28 日至 7 月 19 日，按交互长度挑选（中位数 19.8 分钟，全语料是 2.2 分钟），因此不应用于估计患病率或基线。分层标签显示：已发布诈骗中 64% 出现明确的凭证索取，骚扰类是 40%；机构冒充的区分度更陡（25% 对 1%）。切分风险也被点明——这 1,000 通来自 733 个不同号码，153 个号码出现多次（最多 12 次），420 通（42%）的主叫在子集内另有出现，随机切分会把同一个操盘手的同一套话术放在切分两侧。论文用该语料复核已有诈骗检测方法，结论是用公开合成对话训练的检测器在真实流量上 precision 崩塌。

对大模型数据工作的影响

两处可直接抄进数据管线。一是分组切分：按主叫号码、作者、采集设备等来源单位做分组划分，而不是按记录随机分，这条规则对任何带重复来源的语料都成立。二是合成到真实的迁移假设要单独验：合成对话上训出来的检测器精度崩溃，说明「合成话术覆盖了足够模式」这一前提是错的，真实对话的长度分布、轮次结构与话术变体合成不出来。用合成数据补足长尾前，先拿一小批真实数据做对照。

相关链接：https://arxiv.org/abs/2609.29528 、https://arxiv.org/html/2609.29528v1

五、建模前的四道闸门：七个公开教育数据集只有三个全过

事件概述

arXiv 2609.29625 对七个公开教育预测数据集做了建模前审计。四个检查项全部通过的有三个，剩下四个要么没通过分组感知的泛化检验，要么缺少跑这些检验所需的溯源元数据。有一个数据集最初被判为不通过，在把分组标识特征从留出矩阵中剔除后改判通过，说明这套审计能区分真实的跨组混杂与特征编码假象。

技术细节

四道检查分别是 baseline gap、split instability、null separation、metadata adequacy，都在分组感知留出（group-aware holdout）下执行，且都在模型调优之前完成。主要失效模式不是 iid 表现弱，而是跨组脆弱：UCI Student 从 iid R² 0.242 掉到分组留出 −0.097，Higher Ed 从 0.041 塌到 −8.79。加大模型复杂度无法消除这个模式——集成模型在结构健全的数据集上改善表现，在脆弱数据集上放大不稳定性或直接在分组留出下失效。跨数据集的探索性比较显示，画像更强的数据集集中在规模更大、分组更丰富、与表现更邻近的那些上；随机切分下的表现严重高估了脆弱数据集上可部署的信号量。分类指标上的敏感性分析得到同样结论。

对大模型数据工作的影响

这套闸门的位置值得注意：它跑在建模之前，只依赖数据本身与分组元信息，不需要训模型。训练数据准入流程里可以照搬四项的形态——先看基线差距（不做模型能不能被简单规则压过）、再看切分稳定性（换种子或换分组后指标摆多大幅度）、再看与空对照的分离度（标签是否真带信息）、最后看元数据是否够支撑分组留出。第三条尤其容易被跳过：null 分离度不足的数据集，后面所有调参与配比工作都是在拟合噪声。

相关链接：https://arxiv.org/abs/2609.29625 、https://arxiv.org/html/2609.29625v1