数据工程观察 · 2026年09月23日
本期五条：1,500 次运行证明核心集选择在墙钟预算上打不过随机、语音语料的音位图让 20% 核心集赢了全量、onPanda 把标注动作压到 token 级并放出 7,491 条中文视觉语言数据、MMSAFE 指出安全退化样本散落在多个层、SynEval 用文本置换对照拆穿跨模态合成数据的单模态高分。
arXiv 在 Tue, 22 Sep 2026 放出新批次，cs.LG 384 条、cs.CL 233 条、cs.AI 426 条，去重后 786 条里能跟训练数据对上的依旧是少数。Hugging Face Papers 的 9 月 22 日页面给了榜单佐证，Hugging Face Datasets 的七日热度榜前排仍是 glue、imdb 一类老库；The New Stack 与量子位近两日没有落到数据侧的文章。本期五条分别来自数据选择成本核算、语料核心集结构、标注交互、安全样本过滤、跨模态合成数据验收这五个位置。
它们谈的是同一件事的不同面：当我们说「这批数据更好」，到底是在说子集质量、语料覆盖、标注成本、过滤精度，还是配对关系。五个环节里任何一个没定义清楚，后面所有的结论都可以被推翻。
一、1,500 次运行给出的答案：核心集选择在这个账本上不划算
事件概述
山东大学两位作者把核心集选择（coreset selection）放回端到端的墙钟预算里重算了一遍。过去十年这个方向积累了随机采样、几何匹配、训练动力学打分等一整套工具箱，评测口径基本是「固定子集规模下看下游精度」，选择本身花掉的时间从不上账。这篇论文把选择耗时和训练耗时压到同一条时间轴上，结论相当不留情面。
技术细节
基准覆盖 CIFAR-10 到 ImageNet-1K 共 4 个数据集、11 个选择器、5 个保留比例、3 个随机种子，释放了 1,500 多次运行的记录。每个方法都被允许挑自己最有利的（比例, 轮数）工作点，还额外加入一条以往评测从不包括的策略——干脆不选，把全部预算拿去在全量数据上少训几轮。
结果是：CIFAR-10 与 Tiny ImageNet 上八个墙钟预算锚点，没有一个被复杂选择器拿下，赢家清一色是类别均衡随机采样、逐轮重采样（RS2）或全量训练。ImageNet-1K 的固定预算对决里，全量数据少训几轮赢下精度，花费也最低。成本审计指出选择开销在每个规模上都被一次全量扫描主导，压根无法通过「选更小的比例」摊销。
具体到一个 10 小时档位：全量训练（比例 1.0、26 轮）总耗时 10.24 小时、精度 64.77±0.13；EL2N 选 0.5 比例训 40 轮，选择 9.82 小时加训练 8.06 小时合计 17.88 小时，精度 61.30；Herding 选 0.3 比例训 40 轮合计 11.19 小时，精度 59.94。18 小时档位里每个选择器都在第一步梯度之前先花掉 5 到 10 小时。
作者顺手修了广泛使用的 DeepCore 代码库里 9 个正确性问题，其中一个让标准 Herding 基线偏移接近 6 个点。复用场景是唯一的正向区域：回本次数 K* 全部不超过 0.07，意味着子集成品只要复用一次就能抵掉选择成本；可精度增益方法依赖极强——Herding 在 Tiny ImageNet 上比同规模随机复用高 2.5 到 5.1 点，EL2N 却低 6.8 到 46.4 点。
对大模型数据工作的影响
预训练语料筛选是这条链路的直接下游。论文在开篇就把 LLM 预训练数据选择列为「评测原语不同、需要独立基准」的相关范式，没有把它纳入本次结论，但方法论的警告是通用的：一个筛选器如果在论文里只报告「同 token 预算下 loss 更低」，而把 embedding 推理、打分、排序的 GPU 小时数算在账外，那么它和全量数据之间的比较测的是错的东西。落地时值得补一条硬性要求——任何数据筛选方案上线前，先给出「选择成本 ÷ 训练成本」的比值，以及这个比值随语料规模变化的斜率。论文明确说了这个绝对数值无法从一个数据集外推到另一个。
相关链接
二、语音语料的音位图：先认结构，再谈采样
事件概述
与上一条形成对照。孟加拉语与英语的两个 TTS 语料上，作者先把语料建成音位邻接图，检验这张图有没有结构，再设计采样器。在固定音频时长预算下，结构感知的选择器做出的 20% 核心集，训出的模型比等时长随机子集明显更可懂。
技术细节
图的聚类系数在孟加拉语上是 0.140，随机图为 0.0007，高出 199 倍；英语 0.121 对 0.0022，高出 56 倍。即便拿度保持的随机图做零假设，仍分别高 79 倍和 22 倍。模块度方面孟加拉语 0.470 对 0.172、英语 0.404 对 0.177，意味着检测出的 27 个和 17 个社区反映的是音位空间里真实的分组，而不是度数造成的假象。度分布有重尾：两种语言里都有 1.3% 的 utterance 度数超过 100，最大度数孟加拉语 627、英语 461，而 Erdős–Rényi 实现里一个都没有。
选择器叫 Community Representative，先按社区分层采样，再在每个社区内部把选择散开，起点是稀有音位含量高的 utterance。每个预算档位上，它对稀有音位二元组（bigram）的覆盖都超过随机与基于熵的选择，这个优势在留出 utterance 上依然成立。20% 预算下训练出的 TTS 模型字符错误率显著低于等时长随机子集和熵法子集。相同 epoch 数下，孟加拉语核心集模型以 3.93% 对 4.47% 的 CER 赢了全语料训练，训练时间少 4.5 倍。
论文把边界写得很清楚：两个主 corpus 都是单人录制，speaker 与韵律多样性按构造就不存在；孟加拉语 arm 按 epoch 对齐、英语 arm 按梯度步对齐，两个语言答的是相关问题而非同一问题，超过全语料的优势只在孟加拉语协议下成立；英语测试集 500 条，而识别器本身的地板是 1.85%，置信区间相对效应量偏宽。
对大模型数据工作的影响
这条和上一条的张力值得记下来。同样是「从大池子里挑子集」，视觉分类任务上结构感知的选择器输给随机，语音语料上却赢了全量。差别不在算法聪明与否，而在预算的计量单位与冗余的分布形态：图像分类的冗余近似均匀，一次全量扫描的固定成本吃掉了全部收益；语音语料的冗余高度集中且可结构化——稀有音位 bigram 只出现在少数 utterance 里，图社区正好把它们标了出来。做预训练语料去重与配比时，可以照搬这个判断顺序：先验证池子里有没有可利用的结构（聚类系数、模块度对上零假设），再决定值不值得上一个复杂选择器。没有结构证据就上选择器，等于把预算扔进全量扫描。
相关链接
三、onPanda：标注动作下沉到 token 级，附带 7,491 条中文视觉语言数据
事件概述
阶跃星辰的 12 人团队做了一个对齐数据标注工具，把交互单元从「整段改写」改成「定位并替换第一个不合适的 token」。配套放出 Panda-CVL 数据集与一个 token 级纠错基准。这条在 Hugging Face Papers 的 9 月 22 日页面上有收录。
技术细节
流程是一个定位—纠正—续写的循环：标注者读到第一个不合适的 token，从模型的候选 token 里挑一个替换，或自由输入正确文本；系统截断该位置之后的所有内容，从纠正后的前缀继续生成，反复直到得到满意的回复。
21 条 prompt 的对照实验里，中位标注时间是 onPanda 330 秒（均值 516）、POTATO 681 秒（711）、Argilla 336 秒（684），相对手工后编辑降低 52%。效率没有换来质量损失：两两对比胜率 onPanda 66.7%，POTATO 54.8%，Argilla 28.6%。
关键的一栏是 on-policy 保真度。以 rollout 模型打分，基线重采样 PPL 为 1.171，onPanda 1.181（+0.86%），Argilla 1.161（−0.83%），两者都落在单条 prompt 跨 rollout 的 ±2.8% 噪声内；POTATO 是 1.596（+36.31%）。因为最终回复里绝大多数 token 由模型自己生成，数据保留了原采样分布。覆盖率上 Argilla 只在 11/21（52%）的 prompt 上选出合格 SFT 回复，编辑式的 POTATO 与 onPanda 按设计达到 100%。每条 prompt 可派生的偏好对数量是 7.43、6.00、0.95。NASA-TLX 主观负荷 3.1 对 5.4 与 6.8。
释放的数据集 Panda-CVL 有 7,491 条标注 session，存为 .panda.json 格式，训练集 6,839 条、测试集 652 条，以中文视觉语言任务为主，标注时的辅助 rollout 由 32B 稠密 VLM step-1o-turbo 生成。基准部分把一次纠错拆成三个子任务，在测试集上最好的 F1 只有 17.09%（GPT-5.5 取得，GoodAcc 53.37%）；九个推理模型里有七个格式分超过 90%，可是 Corr.-NG 全部低于 16%——格式合规换不来准确的错误定位。
对大模型数据工作的影响
on-policy 是这条的主线。SFT 与偏好数据如果偏离 rollout 模型的采样分布，训练信号和推理时的分布就对不上，POTATO 那 +36.31% 的 PPL 偏移正是这种代价的量化。手工后编辑看着「更干净」，代价是数据不再 on-policy。7.43 条偏好对比 0.95 条的差距也很实在：token 级纠错天然带位置信息，正负样本是按纠正点对齐的，比整段前后对比的监督粒度细一个量级。
对做数据平台的人来说，更值得注意的是这个交互把标注动作变成了可记录的结构化事件——纠正位置、候选集、替换文本全都能落盘。这类日志既能直接当监督信号，也是审计标注质量与模型薄弱点的原始材料。基准上 17.09% 的最好 F1 说明「自动做 token 级纠错」远未解决，人工环暂时还得留着。
相关链接
四、MMSAFE：安全退化样本不在同一层，多语言下尤其如此
事件概述
北航团队（EMNLP 2026 主会接收）处理一个具体的数据清洗问题：良性微调语料里混着少量会悄悄削弱安全对齐的样本。现有做法用单个安全敏感层的表示来识别这类样本，这个假设在单语下成立，在多语模型上没人验过。
技术细节
作者在 LLaMA3.1-8B-Instruct 上跨 18 种语言做了层敏感性分析。热力图给出的是混合图样：一部分层在多数语言上都显著，另一部分形成语言或语族特有的敏感峰。也就是说敏感层只是部分共享，安全相关信号散布在多个层上。
MMSAFE 的做法是同时捕捉共享信号与语言特有信号，默认取 k=2 个敏感层。消融里 k 提到 3 不再有增益，说明继续加入敏感度较低的层引入的是噪声，作者也没有把 k=2 说成对所有模型都最优。效果上，相比随机过滤把平均有害回复率降低 60%，平均表现也强于最强的单层基线。
SAE 特征激活给出了分层的语义分工：第 3 层激活弱且均匀，主要捕捉词法或局部语义线索；第 7 层对涉毒与钓鱼类样本强烈响应；第 11 层对钓鱼响应最强、对虚假信息也有较高响应；第 15 层在恶意软件、涉毒、钓鱼等多个类别上都高度激活。代码已释出。
对大模型数据工作的影响
多语语料的安全过滤不能照搬单语那套层选择。一个在英语上标定好的敏感层，挪到另一种语言可能只是噪声通道，过滤结果就会漏掉真正的退化样本。实践上有个便宜的检查：拿目标语言的少量标注样本跑一遍层敏感性热力图，看峰值落在哪几层，再决定过滤器的层组合，而不是沿用默认配置。
这条还有一个方法论提醒。60% 是相对随机过滤的降幅，不是绝对有害率；过滤器的收益取决于语料里退化样本的实际密度，换一批语料，同样的过滤器收益会变。以随机过滤而非「不过滤」作对照，读数字时要先把这个基线记在心里。
相关链接
五、跨模态合成数据：单模态分数测不出配对有没有被拆散
事件概述
eBay 资助、被 PST 2026 接收的这篇论文瞄准多模态合成数据的验收缺口。表格加文本这类合成数据集，通常的做法是分别对表格侧和文本侧打分；作者指出这些分数在配对被打乱之后照样很高。
技术细节
评测流程是：固定句编码器把文本映射成嵌入，k-means 转成簇状态，表格变量按类别或分位数分箱成状态；真实与合成的列联表用 JSD、NMI、条件 JSD、联合状态熵比较，另加文本到属性（T2A）效用与留出校准的邻近标记率（PFR）作为表示层诊断。核心对照是文本置换——保留两侧的边缘分布，只打乱配对关系。
在 Amazon Reviews、Kiva Loans、Employment Scam Aegean（Fake Jobs）三个数据集上，置换后的单模态分数基本不动。Kiva 上独立生成（配对彻底无关）的 S_ind 拿到 BERTScore-F1 0.889，真实数据是 1.000；表格边缘保真度 0.590。只看这两个数，很难判断这批合成数据是否可用。
投影诊断能分开。Kiva 的投影 JSD 里真实数据 0.000，S_tilt 0.698，S_seq 0.602，TabSyn-SBERT 0.727，S_ind 0.844，S_joint 0.729。Fake Jobs 上同一组是 0.000、0.275、0.522、0.165、0.458、0.568。NMI 比值出现超过 1 的情况——Kiva 的 S_joint 是 1.100，Fake Jobs 的 S_seq 与 S_joint 分别是 2.319 和 2.556，意味着合成数据测出的依赖强度高于真实数据投影，作者明确说这不是好事。效用侧 Fake Jobs 上 TabSyn-SBERT 正类 F1 0.555、MCC 0.439，S_tilt 只有 0.215、MCC −0.061。
Amazon 是反例边界：选出的评分—文本投影本身依赖就弱，置换诊断在这里几乎没有分辨力。稀疏性检查规则是占用单元格比例不超过 30% 或合成侧最小条件支持低于 5 即标记为稀疏，据此 Fake Jobs 在 K=20 下稳定、Amazon 处于边缘、Kiva 在 sector 投影下稀疏。XOR/奇偶压力测试还显示成对投影按构造就会漏掉高阶依赖。
对大模型数据工作的影响
合成数据流水线现在普遍的做法是分模态报分——文本侧看 BERTScore 或 perplexity，结构化侧看边缘分布距离，两边都好看就发布。这篇的结果说明这种验收挡不住最致命的一类失败：属性与描述对不上。一个商品描述写得漂亮、价格字段分布也对，只是两者之间没有对应关系，下游模型学到的就是噪声关联。
可以直接搬用的有两个动作。一是加文本置换对照，把「真实依赖强度离置换基线有多远」当成报告项，而不是只看绝对分数；二是报稀疏性与覆盖率，K 取多少、占用单元格比例多少、条件支持最小值多少，否则 cJSD 这类估计在高维稀疏下没有意义。作者自己的定位也很克制：这是个投影级、数据集级的评测器，保住投影里的依赖结构是跨模态保真的必要判据，不构成「每条记录语义都对」的充分证据。代码与数据在 SynEval 仓库及 Zenodo 归档。
相关链接