数据工程观察 · Vol.139

数据工程观察 · 2026年10月04日

五条新工作在算同一笔账：把昂贵动作换成便宜动作之后，验收口径有没有跟着变。在线批量选样拿掉 Gram 矩阵对角线就不再需要留出验证集，投毒清洗用 22 条已验证样本替代万级干净基集，2×8 帧网格用 15% 的 token 换全视频标注，合成方言语料的恢复率在打分词表与生成规则同源时虚高到超过真实数据，合成 RLVR 语料的构造痕迹检得出却未被利用。

2026年10月4日数据工程数据选择数据清洗数据投毒合成数据数据标注评测方法论预训练数据指令微调强化学习数据数据质量基准评测

本期五条工作做的是同一件事：把一个昂贵的动作换成一个便宜的，再追问替换有没有改变验收口径。在线批量选样想省掉留出验证集，投毒清洗想省掉上万张已验证干净的样本，视频标注想省掉逐帧推理的 token，合成方言语料想替掉不能二次分发的真实语料，合成 RLVR 语料的审计想用干预对照替掉相关性分析。五份答案里三份是省得下来，两份是省下来的数字不可信。

一、在线批量选样：拿掉 Gram 矩阵的对角线，留出验证集就不必存在了

事件概述

在线批量选样在每一步的候选批里挑出最有用的一部分做更新。梯度匹配类选择器因为不需要留出数据而受欢迎，可它们很少赢过「整个批都训」。2610.00436 给出了原因，并给出一个零成本的修法，配套方法叫 Loom。

技术细节

样本内梯度匹配把每个样本当成自己的一部分目标，于是每个样本自己的梯度噪声被计进了它自己的得分，这就是让训练误差偏乐观的协方差惩罚，此刻坐在梯度 Gram 矩阵的对角线上。它把选样推向噪声最大的样本，并让整个批成为该目标能取到的最优解。

修法不花额外算力：对任一个样本，其余候选构成数据分布的一个独立样本。去掉对角线之后，匹配目标变成「这一步更新相对于总体梯度的误差」的无偏估计。最小化这个留一目标等价于按逐样本梯度信噪比加权。作者给出了精确条件——只要逐样本信噪比足够异质，半个批就能给出比整个批更低误差的更新。

Loom 在常规反向传播里用 Adam 预条件子的度量算出 Gram 矩阵，贪心前向选择带 $(1-e^{-\gamma})$ 保证；逐样本梯度已经存下，加权更新不需要第二次反向传播。主结果（Llama-3.1-8B 与 Qwen2.5-7B，MMLU/SciQA/GSM8K/HumanEval 四任务均值，四个种子）：整个批 54.2 / 68.5，随机选 52.6 / 66.8，GradMatch 53.7 / 68.1，需要 256 条留出训练样本做代理方向的 OPUS 54.9 / 69.2，需要每个任务 5 条验证样本的 GREATS 54.6 / 68.9，Loom 56.5 / 70.9，全程不碰任何外部资源。消融里保留对角线掉 2.79 点，梯度误差从 0.61 翻到 1.38；只用前向传播的 Loom-fast 保住 72% 增益。合成梯度批上的数值校验显示，样本内风险估计偏低 11.5%，与预测的协方差惩罚吻合到 0.01% 以内；在可穷举搜索的批上，贪心平均拿到最优值的 99.99%，最差不低于 99.6%。实验配置是每步 128 个候选选 64 条，8 张 A100 跑 bfloat16。

对大模型数据工作的影响

一批 SFT 数据到底该全用还是挑一半，过去要靠留出集或参考模型来回答，这两样在真实流水线里都不便宜。Loom 把答案变成一次反向传播的副产品：每步挑一半，反而比全用更好。值得留意的是它挑的依据是梯度信噪比，不是 loss 大小——MaxLoss 只有 52.8 / 67.0，MaxGrad 只有 52.7 / 67.0，都输给整个批。按 loss 或梯度模长挑数据这条常见做法，在这组实验里被直接证伪。

二、投毒清洗：22 条已验证样本替代万级干净基集

事件概述

数据投毒防御要么假设对哪些样本被投毒一无所知，要么假设手上有一大批已验证干净的样本。后者的成本很高：干净标签攻击下毒样本在肉眼上无从分辨。2610.01788 提出 SAGE，把假设改成「一小撮已验证样本，干净的和有毒的都要」，并说明这个改动能带来什么。

技术细节

SAGE 先在另一个数据集（CIFAR-100）上训一个通用特征提取器，再用非参数的相似度加权预测，把已验证集合上的「有毒 / 干净」标记插值到整个训练集上。关键设计是「不给已验证集合拟合任何参数」，集合大小只影响判别精细度，不影响过拟合风险。训练特征提取器的目标直接模拟检测：每批切成参考子集与查询子集，查询子集的预测由参考标签的相似度加权组合给出，再反传。

CIFAR-10 上的默认已验证集合是每类 2 张干净样本加 2 张确认有毒样本，共 22 条。在这个规模下，SAGE 在三种无触发攻击（Feature Collision、Bullseye Polytope、Gradient Matching）的每一种设置里都找回了 500 条毒样本中的至少 480 条，攻击成功率压到不超过 5%，丢弃的训练数据不到 2%（769.2–995.1 张，假阳性 35.4–50.8%）。对照组里，Meta-Sift 固定丢 1,000 张却最多找回 105.1 条；Deep k-NN 丢得最少（205.3–406.4 张）但其中 46.1–90.7% 是误删；EPIC 在从头训练的设定下丢掉约 19,405.1–20,174.2 张，占数据集 38.8–40.3%，却只找回不到 100 条毒样本。Gradient Matching 在 $\epsilon=16$ 下 SAGE 与 EPIC 都做到 5% 攻击成功率，前者平均删 896.9 张，后者删 20,174.2 张。Tiny ImageNet 上 SAGE 把 Bullseye Polytope 的成功率从 30% 降到 10%，准确率从 0.6153 微升到 0.6169，是唯一不掉精度的防御；Deep k-NN 降到 20% 但精度掉到 0.5584，EPIC 成功率不变、精度掉到 0.5569。四类干净标签后门攻击上，唯一能拿到可比的低成功率的基线 FLARE，是靠把模型准确率压到 0.46–0.55 换来的。

作者还报告了一个反直觉的结果：已验证干净样本在各类之间的分布，比已验证样本的总数更要紧。类别均衡抽样下 2 条已验证毒样本就够召回大部分毒样本；不分层随机抽样则需要约 5 条。单张 50,000 张规模训练集的检测耗时 4 分钟，且特征提取器一次训好、跨攻击跨数据集复用。

对大模型数据工作的影响

清洗预算通常花在「凑一大批可信样本」上，而 De-Pois 这类方法把可信比例降到 0.5% 时准确率与 F1 会从约 0.9 掉到 0.7。SAGE 给的账本不一样：把核验精力分一半去确认「哪些是有毒的」，比继续堆干净样本划算。另一条可直接搬走的报告规范是 ASR 必须和「删了多少数据」一起报——两个防御拿到同样的 5% 攻击成功率，一个删 897 张，一个删 20,174 张。

三、视频标注：2×8 帧网格换掉整段视频，代价是 15% 的 token

事件概述

用视觉语言模型给短视频打标，一段 60 秒视频按每秒一帧就要吃掉百万级 token。常见的省钱做法是抽帧、压成图像网格、或只用单一模态。2610.00809 系统评估了这些启发式在准确率、下游推断有效性、单条视频 token 成本三条轴上的表现。

技术细节

数据用 MELD（情感，3 类）与 TikTok（话题标签，18 类，n=900，平均时长 62.3 秒）。成本侧：把帧打包进一张网格，无论视频多长都是约 37–48k token；按 1 FPS 采样则随时长线性增长，平均贵约 50 倍，最坏情况超过 500 倍。两种网格共享同一个最大 token 值（约 48k），来自 API 的单图 token 上限，这个上限把成本钉死而与网格分辨率无关。

效果侧，一张用镜头切换检测挑帧拼出的 2×8 网格，在约 15% 的 token 成本下把 Cohen’s $\kappa$ 追到全视频理解的 0.05 以内。模态的价值随任务变：MELD 上纯文本最好（ $\kappa$ =0.398），纯图像只有 0.139，4×4 网格 0.371；TikTok 上多模态网格明显好过两个单模态基线（ $\kappa$ 0.808–0.825 对 0.695–0.696）。四个模型（Claude Sonnet 4.6、GPT-5.1、Grok 4.3、GPT-4o-mini）在 MELD 上都是纯文本这一列最好，纯图像最差。

最要紧的一点是准确率与有效性分道扬镳。原始 LLM 输出（ShotT 2×8）把 funnyvideos 高估 5.7 个百分点（10.7% 对真值 5.0%），把 travel 低估 2.0 个百分点（4.0% 对 6.0%）；换成预测驱动推断（PPI）做偏差校正后，18 个类别的真值频率全部落进 95% 置信区间。

对大模型数据工作的影响

构建多模态标注集时，省 token 与保结论是两件事，不能互相代表。抽帧或压网格能把成本砍一个数量级，可它是否保住「基于这批标注得出的下游结论」，得单独验一次。纯文本在某些任务上不输甚至赢过多模态，说明加模态之前应当先跑一次单模态基线。

四、合成方言语料：指标与生成流水线共用一套词表，恢复率就是假的

事件概述

韩语方言语料可以拿到但不允许再分发——权重能发布，基于原始数据的训练与评测却不能复现。2610.00164 问的是合成数据能找回多少那部分监督，以及这个「找回多少」能不能独立于合成流水线被测量。答案是：按轴分，找回率最高 91.2%；而用来报数的那套指标，其打分词表完全被合成规则能吐出的形式覆盖。

技术细节

作者发布 KoDialectBench v0，1,000 条题目覆盖五个地区、三条轴（理解、识别、生成），以标识符哈希加打分代码的形式发布，使用者用自己有授权的那份语料重建题目。最好的合成臂 SK4（26,600 条）按轴分是理解 63.7%、识别 91.2%、生成按参考 chrF 72.4%，轴平衡均值 75.8%。同一批数据换成已部署的标记词表族来打分，报出的是方言度 92.3%、地区匹配 119.3%——后者超过了真实数据参考臂。

独立性的检验做得直接：把变换规则能吐出的所有方言形式（全部词汇变体与全部后缀变体的并集）从打分词表里删掉，剩下的留出部分在五个地区全是 0（江原 8,802 条评分标记对 10,020 条可吐出形式；庆尚 4,450 对 5,765；全罗 2,752 对 4,082；忠清 1,991 对 3,263；济州 12,790 对 13,913）。打分词表是生成器输出集合的子集，这个指标分不出「真的会方言」和「只会我们规则里那几种形式」。

训练侧的干预把因果钉住：把变换规则限制在 80% 的标记词表上，规模精确匹配（8,600 条）的 SK12-D9b 在留出词表上的方言度恢复从 91.8% 塌到 8.1%、地区匹配从 101.9% 塌到 25.6%；三条与流水线无关的指标一条都没掉（理解 64.2%→67.6%、识别 71.3%→73.3%、生成参考 67.9%→70.2%）。SK11-D9 复现为 8.4% / 28.1%，SK10-M 为 28.1% / 47.5%。作者还bootstrap了分母本身：真实数据臂与基线的差距在方言度上是 +0.0292（置信区间 [+0.0250, +0.0332]），地区匹配上 +0.2040（[+0.1785, +0.2303]），都远离零，说明塌缩不是除以噪声造成的。

对大模型数据工作的影响

用合成数据补不可分发语料时，「恢复率」这个数字取决于谁来打分。打分资源与生成规则同源，数字会虚高到超过真实数据参考；换掉构造来源，虚高部分立刻归零，而真正的下游能力纹丝不动。做这类评估应当至少留一条与生成流水线无交集的测量通道，并把两条通道的结果分开报，不要平均。

五、合成 RLVR 语料的构造痕迹：检得出，不等于被模型用了

事件概述

若干流水线构造 RLVR 训练数据的方式是：遮住真实语料的一个片段，让模型围绕它编出像样的错误选项。正确选项是真人写的，干扰项全是合成的，正确性与来源就此纠缠在一起，策略完全有可能学到后者。2610.00202 在 GooseReason-0.7M 上审计了这个可能性。

技术细节

两阶段。第一阶段问不对称性是否可见：一个只读五项表面统计量（罕见词率、词长与句长突发性、字符熵、词性分布相对参考分布的 KL 散度）、完全不看语义的分类器，在 315,499 个选项上拿到整体 AUROC 0.562——刚过随机线。math 0.584、stem 0.583 差不多，code 是唯一落在随机线以下的，0.416。低于随机的 AUROC 不代表信号反向，人工审计解释了原因：代码类干扰项是金标准答案的单算子改写，两类在表面统计上近乎一致，只读表面的分类器两个方向都学不到东西。

第二阶段做干预，因为检出信号不等于模型在用信号。作者构造了一份释义匹配的对照语料，明确要求保留控制流、运算符与正确性，只去掉风格上的真实性线索；每个域的训练集规模在两个臂之间设成一样。两个策略都从 Qwen3-1.7B 出发，用 GRPO 在 4-bit 量化低秩适配器上训练，奖励是选项字母精确匹配的规则式可验证奖励。评测用三种变体：Original（不对称性在）、Neutralized（不对称性去掉）、Adversarial（中性化的金选项配一个未改动的、带真实性线索的干扰项）。定义漏洞利用差距为 acc(neutralized) − acc(adversarial)。整体差距在处理组是 0.021，对照组 0.027——处理组并没有更大。分域看，代码与 STEM 上对照组持平或超过处理组，math 域两个臂都出现小幅负差距（−0.033 与 −0.027），因为两个独立训练的策略都出现同一模式，作者把它归因于该域在此评测设计下的对抗构造方式。

对大模型数据工作的影响

合成干扰项带来的构造痕迹是可以被统计方法看见的，在给定的训练预算下，它并没有被策略利用。这条结论的价值在于方法论：判定「数据瑕疵有没有被学进去」，相关性分析只能给出第一步，必须再跑一次规模匹配、只改目标属性的干预对照。审计的代价不高，省掉它则可能为一条并不存在的问题重造整条流水线。