数据工程观察 · Vol.120

数据工程观察 · 2026年09月15日

五条数据工程动态：训练前筛合成污染的 SynthSentry、只用 31% 数据的 CluSTER、13 配置 12 种子全军覆没的 RLVR 数据策略横评、清洗 TruthfulQA 表面泄漏的 Audit-Prune，以及 2000+ 小时合成全双工语音数据集 DuplexDrama。

数据工程 数据清洗 数据合成 数据配比 指令微调 RLVR 数据集 评测基准 污染检测 语音数据

本期五条里，四条出自 arXiv 9 月 14 日批次（cs.LG 158 条、cs.CL 64 条），一条来自 Hugging Face Papers 当日榜。把它们并排看会露出一条暗线：数据环节里投入工程精力最多的「选数据」动作，正在被更严格的对照实验逐条证伪——筛查合成污染要跟朴素阈值比，RLVR 的配比策略要跟 uniform 比，评测集清洗要跟 AFLite 比。剩下两条给出可执行的替代动作，一是把过滤预算按领域分层标定，二是把长尾行为显式写进配比表。

SynthSentry：把合成数据污染的判定从「训练后诊断」挪到「入库前筛查」

事件概述：递归训练会引发模型坍缩——分布尾部与事实性恶化，流畅度却保持完好。已有工作大多在训练之后才给出诊断，而工程上真正需要的是一个前提更少的工具：拿到一批来源不明的语料，训练之前就判断它有没有被模型生成物污染。SynthSentry 给出的正是这样一个语料级、模型无关的污染分数，已被 2026 IEEE Asia Conference on Innovation in Emerging Technology 收录，全文 11 页、3 张图。

技术细节：分数的构成是三个统计量的分布散度——词汇多样性坍缩、n-gram 尾部截断、跨参考模型的困惑度方差。它不要求访问生成模型，不要求生成历史，也不要求任何合成标签。评估用小体量开源权重生成器与一个指令微调开源模型分别污染语料，采用 leave-one-generator-out 协议：整个生成器家族被留出后，分数对语料的污染严重程度排序几乎不掉。假阳性在领域分层研究里单独测量，对象是法律、临床、源代码这类天然重复的人类文本。这里有个关键工程结论：朴素分位数阈值的实际假阳性跑出预算的 4 倍，换成协方差收缩加 bootstrap 阈值之后，各领域的标定才回到名义预算附近。下游微调检查在作者的规模上没有观察到污染导致的准确率缺口，所以「剪掉污染能不能把性能找回来」仍是开放问题；同一次运行暴露出另一个风险——剪枝比例一旦超过真实污染比例，就会过剪。

对大模型数据工作的影响：把污染治理从事故复盘改成入库门禁，是这套工作最值得抄走的部分。更实用的那条经验在阈值上：去重与质量过滤的阈值长期习惯用全局分位数一刀切，SynthSentry 的领域分层结果说明，法律与临床这类高重复度人类文本会把全局阈值整体带偏，按领域各自标定才能把误杀控制在预算内。至于「筛掉污染是否真能挽回损失」，作者自己没有给出肯定答案，这条先记为未决。

相关链接：

CluSTER：梯度空间聚类 + DP 感知均衡分配，指令微调只用 31% 数据

事件概述：KAIST 团队瞄准的是指令微调数据的三个老毛病——体量大、冗余多、长尾不平衡。大批量微调叠加数据并行（DP）时，随机采样会让主导样本群在多个 worker 上被反复计算，稀有却有信息的样本群覆盖不足。CluSTER 用梯度空间聚类加 DP 感知均衡分配来构造代表性子集，代码已开源。

技术细节：三个超参分别是簇数 K（默认取 DP worker 数）、簇容量 α（默认 1.5）、选择率 r。流程上先在梯度空间做语义聚类，把所有簇下采样到最小簇规模得到均衡中间集，再按 r 保留每簇中距质心最远的样本（默认选边缘样本而非质心附近），随后把均衡子集分配到各 GPU。簇大小被拉平必然改变原始分布，作者用权重 w_c = |C_c|·K/N 的加权梯度更新补偿，让每簇对全局梯度的期望贡献回到全量随机采样的水平。特征来自最后一层隐状态与 token 级概率，计算复杂度是 O(|D|·Forward)，低于需要反向传播的 LESS 和需要训代理模型的 S2L。在 MedInstruct-52K 上微调 Llama-2-7B，r=0.50 对应仅用 31% 数据，四项基准平均 48.0，全量基线是 48.5，训练时间比全量下降 69.6%。代码域用 Magicoder-OSS-Instruct-75K 微调 CodeLlama-7B，全量随机基线平均 57.6；r=1.00（79% 数据）时 CluSTER 平均 56.8、MBPP 67.0，两项都高于同数据量下的随机、IFD、LESS 与 S2L。13B 规模的 CodeLlama-Python 也成立：r=0.75（61.1% 数据）时平均 62.5，反超全量随机的 61.3。

对大模型数据工作的影响：这套方法的价值不在「又一种打分器」，而在它把数据选择与并行拓扑绑在了一起——K 直接取 worker 数，簇与 worker 一一对应，等于把「每个 step 的梯度多样性」变成可配置的量。对多机微调流水线来说，这意味着数据减量不再只是省时间，还能顺带稳定梯度估计。加权更新那一步也提醒了一件容易被忽略的事：任何做样本均衡的操作都会偏移原分布，不补偿的话，减量跑出来的模型其实是在另一个分布上训的。

相关链接：

DataFlex-RL：13 种配置、12 个种子，没有一种 RLVR 数据策略跑赢 uniform

事件概述：RLVR 的数据策略决定哪些 rollout 被采用、权重多高、哪些域进入后续训练批次。围绕这些选择已经长出一批方法，缺的是统一口径的横评。北京大学团队在 Hugging Face Papers 9 月 14 日榜上给出 DataFlex-RL，一个在统一 GRPO 配方下比较这些策略的评测平台，当日 96 票。

技术细节：主实验跑 13 个配置 × 12 个 matched seed，基座是 Qwen2.5-7B-Base，评测覆盖 12 个数学、逻辑与科学基准。uniform GRPO 相对未训练 checkpoint 把域均衡平均分提高 7.76 个百分点，这个正基线成立。在其之上，8 种 rollout 选择与重加权方法里，没有一种的配对 95% 置信区间能排除零；3 种自适应混合在同等精度下也不优于固定等权混合。Llama-3.1-8B-Base 上补做的 12-seed 扩展把新增方法放到与原对照相同的分数尺度上，同样没出现一致赢家。另一组实验量化了评测口径本身的敏感性：用「5 个数学基准 + GPQA-Diamond、不含逻辑」的六基准摘要给 9 个 Qwen2.5-7B-Instruct 运行重排，与 12 基准域均衡摘要的排名相关系数为 −0.33，呈负相关；保留全部 12 个基准的摘要之间则大体一致。

对大模型数据工作的影响：结论对做数据配比的人不太友好，但很实在——在 12 个种子的精度下，改数据策略确实改变了训练过程，却没有产出可复现的收益。这提示 RLVR 阶段的配比调参应当先确认自己的评测摘要覆盖了几类域，否则测出来的差异很可能只是摘要构成的产物。−0.33 那个负相关比任何一条方法对比都更值得贴在墙上：换一套基准摘要，排名会翻过来。

相关链接：

Audit-Prune：TruthfulQA 二选一版能被六个表面特征拆穿，清洗后发布 TruthfulQA-476

事件概述：二选一真值基准要求模型在正确与错误答案之间做选择。若两侧答案在表面形式上系统性不对称，模型不做任何推理也能超过随机。犹他大学与合作者审计了 TruthfulQA 二选一版，并给出一套发布前清洗机制 Audit-Prune，清洗产物 TruthfulQA-476 一并发布。

技术细节：审计只用六个可解释的表面特征（核心是否定词计数）跑逻辑回归，grouped-CV 准确率 0.689、AUC 0.715。作为参照，llm-stats 上 TruthfulQA 榜单截至 2026 年 5 月的最好模型分是 Granite 3.3 8B Instruct 的 66.9%——一个不看语义的特征探针，胜过了所有真实模型。逐组消融里否定特征贡献最大，去掉该组后 AUC 从 0.715 掉到 0.592。跨数据集审计覆盖 15 个二选一数据集，泄漏程度从极端到不可检测都有：HaluEval QA 的 AUC 达 0.973，MedHallu 也高于 TruthfulQA，BoolQ（0.525）与 PIQA（0.509）已在检测下限附近。Audit-Prune 的流程是迭代移除 b_i 分数最高的样本对、重拟合标准化与逻辑回归权重、重跑 grouped-CV 审计，AUC 落到阈值 θ 以下即停，再对已移除集合反复回插，凡不会把 AUC 顶回阈值之上的对子都加回来。清洗后的 TruthfulQA-476 共 476 对，审计准确率从 0.689 降到 0.522、AUC 0.528（p=0.048）；在 14 个开源权重模型上，它与完整基准的排名一致性是 Spearman ρ=0.915、Kendall τ=0.827。与对抗过滤 AFLite（64 个逻辑分类器跑在冻结的 bge-large-en-v1.5 答案嵌入上）对比，在同样保留 476 对时，AFLite 留存对的审计 AUC 是 0.603，明显高于 Audit-Prune 的 0.528。

对大模型数据工作的影响：表面特征泄漏的危险之处在于它会顺着训练数据往回灌——拿带捷径的基准去训模型，分数涨了，能力没动，且从准确率曲线上完全看不出来。Audit-Prune 提供的不是某个数据集的补丁，而是一条能接进流水线的前置工序：偏好数据、二选一评测集在发布前先过一遍表面特征审计，留一份阈值化的子集与 pair_id 清单。与 AFLite 的对比还说明，通用去偏方法并不自动覆盖这类形式不对称，针对「答案串表面特征」单独建模才拦得住。

相关链接：

DuplexDrama：2000+ 小时合成全双工语音对话，全双工行为只占 3.8%

事件概述：全双工语音对话需要模型学会打断、附和与不完整句，而公开数据在这类行为上一直是空的。DuplexDrama 是首个一次覆盖四个维度的合成语音对话数据集：完整人设与场景设定，三类全双工行为（打断、backchannel、不完整句），带人设对齐情感标签的 expressive speech，以及脚本感知的声音事件。

技术细节：数据由一条四阶段流水线合成，脚本与合成音频两侧都做了质量验证，并通过内部全双工模型训练验证可用性。产出规模是 2000+ 小时音频，音色池 64 个，覆盖 13 个人设与 5 个年龄段。全双工行为的占比被显式标了出来：全部 turn 中 3.8% 至少带一种。作者计划发布 6400 条双语对话的精选子集，合计 800 小时，其中中文约 500 小时、英文约 300 小时，LLM-judge 评测提示随数据集一并放出。

对大模型数据工作的影响：3.8% 这个数字是这类数据集里最该被记住的部分。全双工行为天然是长尾事件，合成流程若不显式设定配比，模型基本学不到打断与附和；把这个比例写进数据卡，下游才知道自己买到了什么。双语分段（中文约 500 小时、英文约 300 小时）也给了跨语言配比一个可参考的锚点。

相关链接：