数据工程观察 · 2026年10月17日

本期五条围着同一件事展开：一批数据在进入训练之前，凭什么被认定是干净的、够用的、可信的。arXiv 最新一批（Fri, 16 Oct 2026）里，有团队把 RLVR 数学语料的八种去污染策略摊开算了一遍成本账，语义相似度阈值这一档的误删比例高得惊人；有团队用 CLIP 空间的 PCA 主轴挑子集，把扩散模型偏好微调的数据量压到原来的十四分之一；也有团队拿约 200 个模型做对照，证明分词器的各项内在指标没有一项能稳定预测下游表现。合成侧，南京大学的团队把生成顺序倒了过来，先写世界的机制再生成文件；安全侧，首尔大学的工作给出一个反直觉结论，清洗过的干净数据照样能把恶意关联传给学生模型。

RLVR 数学语料去污染：八种策略的误删账单

事件概述：十六个开源 RLVR 数学语料、1,673,514 条语料级训练题，对六个基准共 1,949 道题做重叠筛查。作者不训练任何模型，只审计八种清洗策略的可信度与删除成本，参照集是 594 对独立、双盲复核的「训练题—基准题」配对，校准集与留出集在基准题和题型族上完全 disjoint，另有三个语料整份划入留出。

技术细节：候选生成沿用现有管道的三档配置：13/8-token n-gram 覆盖阈值 0.20/0.30/0.40、MinHash 128 排列、Qwen3-Embedding-0.6B 余弦 ≥ 0.80 进第三档。全量删除成本差异极大：exact 删 82 条（0.0049%），lexical 删 1,021 条（0.0610%），已在用的 adjudicated 策略删 1,314 条（0.0785%），余弦 ≥ 0.80 的语义清洗删 16,067 条，是 adjudicated 策略的十二倍以上。抽 80 条含候选边的训练题、把每条的 83 条候选边全部审完，阈值 0.80 下被删的 59 条里 52 条确认为误删，占 88%；阈值升到 0.95 时误删率降到 20%，0.98 时反而升到 25%，并不随阈值单调下降。预注册的 0.90 保守精度目标，在 0.80–0.98 的网格上没有任何一个语义阈值达到。已在用的 adjudicated 策略在留出语料上取得 98.1% 的 resolved precision 与 98.2% 的 candidate-frame recall，六条被删样本里零条确认误删。误删的根源是语料里大量题目由模板改写而来——同一情境换数字、改命名、调约束顺序——裸相似度阈值分不清「改了实例的变体」和「真题曝光」。

对大模型数据工作的影响：只报一个重叠计数已经不够，发布方得把删除成本与误删率一并给出。真正拉开差距的不是更强的嵌入模型，而是对边界候选做逐对裁决：把预算留给裁决环节，比继续调阈值更有效。论文自曝的边界也要读进去——88% 是抽样率不是总体率，全部语料与基准限于英语竞赛数学，且全文不涉及「清洗后训练效果是否变化」这一因果问题。

相关链接：https://arxiv.org/abs/2610.21229 、 https://arxiv.org/html/2610.21229v1 、 https://github.com/ethxin0011/rlvr_data_contamination

EigDiff：把偏好微调数据压到十四分之一

事件概述：一条面向扩散模型偏好微调的数据选择管道，两条骨干（SD1.5、PixArt-α）、两种微调范式（DPO、SFT）、四个覆盖自然图像与医学图像偏好对的数据集，最高把训练数据减到原来的十四分之一而分数不掉。

技术细节：冻结的 CLIP 编码器先把偏好对嵌入，在 preferred 图上做 PCA 得到主轴，再按每个样本与主轴的带符号对齐度打分；选择分两阶段，先取离各主轴最近的 exemplar，再按方差比例做分层抽样补多样性。相对全量微调，GPU-minutes 降 5.87× 到 13.95×。与四个选择基线在相同配置下比，14 项里 12 项位列最好或次好，而选择开销低 3.1× 到 1607×——整套计算就是在缓存好的嵌入上做一次 PCA。消融显示确定性的 exemplar 携带主要偏好信号，分层的次要方向提供非冗余的多样性，方差比例预算是把两阶段串起来的关键。

对大模型数据工作的影响：数据预算紧张时，收益未必来自换更强的模型，一次便宜的预处理就能腾出十倍以上的算力余量。这条结论的适用范围要看清：验证场景是偏好微调这类窄目标，14× 的比例不能直接外推到预训练语料裁剪，方法本身也依赖编码器的嵌入几何是否贴得住任务。

相关链接：https://arxiv.org/abs/2610.20999 、 https://arxiv.org/html/2610.20999v1

分词器内在指标：约 200 个模型对照后无一可靠

事件概述：EleutherAI 与多所高校的联合工作，分析约 200 个、覆盖九种语言的语言模型，逐个评测模型及其分词器，检验已有分词器内在指标与下游表现之间是否存在稳定关系。结论是：指标数量与花样都不少，没有一项能跨模型族、跨任务、跨语言一致地预测下游。

技术细节：指标族包括 Zipf 拟合类（AUC_zipf、SLOPE_zipf、POWER_LAW_MAE）、Rényi 效率、压缩比、fertility、词表利用率、MorphScore 的词素边界精确率/召回/微宏 F1，以及 leading_space_tokens_count 这类浅层统计。全任务汇总下 leading_space_tokens_count 相关 r = 0.27（校正后 p = 0.02）、gini_coefficient 0.19、final_tokens_count 0.18；MorphScore 各变体呈负相关（macro F1 −0.09、recall −0.12），剔掉小模型接近随机的任务后这些负相关归零。最好的两指标组合调整后 R² 也只有 0.085，相对最优单指标的增益 0.012。方向还随语言与模型族翻转：Avg chars per token 在含排除项时变为 −0.24。作者另提出一组语言学驱动的指标，称能捕捉现有指标漏掉的维度，并明确提示其预测力仍随模型族、语言与任务变动。

对大模型数据工作的影响：分词器选型没法靠指标打分替代小规模试训，指标更该当诊断工具而非验收门槛。判断语料在某分词器下的实际开销，直接数 token 数与下游小样本跑分，比查内在指标稳。论文自报的仓库截至发稿仍返回 404，代码尚未上线。

相关链接：https://arxiv.org/abs/2610.21679 、 https://arxiv.org/html/2610.21679v1

Data World：先写世界机制，再生成文件

事件概述：南京大学团队的多智能体引擎，从显式机制出发合成数据环境、任务与评分细则。Human preference 筛选后得到 DataWorld-Bench：100 道题、50 个留出世界、16 个域；引擎另外产出 2,135 个训练任务，来自 1,037 个与测试世界完全不相交的世界。

技术细节：核心做法是把生成顺序倒过来——先定义隐藏机制与待恢复的目标现象，再生成分析师可见的文件，用独立审计检查目标量能否只从观测文件里恢复。评分细则里既有正向项也有负向惩罚项，一份东西兼作评测标准与 RL 奖励。RL-zero 训练从 Qwen3.6-35B-A3B 出发得到 DataWorld-35B-A3B，全程不用更强模型的轨迹蒸馏；同评测下相对基座提升为 DataWorld-Bench +7.06、DAComp +14.28、DABstep-Hard +20.90、JobBench +12.13，通用能力未损：MMLU-Pro 84.73% 持平，LiveCodeBench-Hard 71.14% 降到 70.29%，SimpleQA-Verified F1 从 22.20 升到 24.00。十个前沿模型里最高分是 GPT-6-Astra 的 76.32（百分制），最低 MiniMax-M3 50.56。所谓 computation–insight gap，在 cause 与 consequence 两类任务的同世界配对比较里，Δ 落在 −3.28 到 +5.03 之间，没有一家的 Δ 达到自己的 MDE（8.79–10.43），作者据此写明：在这个分辨率下拿不到「两条路线难度不同」的证据，也不构成模型排名。

对大模型数据工作的影响：合成监督的供给瓶颈不在题目数量而在可验证性，把生成机制与评分细则一起产出，可验证就成了默认属性，RL 奖励也不用再靠人写。对数据智能体这类开放式任务，先定机制再生成文件比先生成文件再找结论更省事。局限同样写在正文：各合成组件紧耦合、重生成成本高，因此没有逐组件消融，结论支撑的是整套框架的可用性。

相关链接：https://arxiv.org/abs/2610.21656 、 https://arxiv.org/html/2610.21656v1 、 https://github.com/Zhanli-Li/Data-World 、 https://huggingface.co/collections/Zhanli-Li/dataworld

干净数据蒸馏挡不住的支持持久化后门

事件概述：首尔大学团队提出 DaR（Discover-and-Relabel），一种只改标签、不改像素的后门方法，在干净数据知识蒸馏之后依然保留攻击能力。常见认知是 KD 能净化后门，因为人工触发器不存在于干净数据里；这份工作正面否掉了这条认知。

技术细节：DaR 在低维特征子空间做子空间聚类，找出干净数据中天然大量存在的模式，对天然满足该规则的样本施加标签投毒，测试时局部修改对应子空间即可激活。ImageNet 上 ResNet50 教师到 ResNet18 学生的干净数据 KD：BadNets 99.11 → 0.11，Blend 99.89 → 0.10，WaNet 99.98 → 0.09，Refool 97.73 → 0.80，四种传统攻击在学生端几乎全部崩掉；Spatial DaR 99.95 → 96.23，Frequency DaR 100 → 96.65。ResNet18 到 ResNet18-half 同样维持：99.93 → 94.83、100 → 98.96。代价是干净准确率从 76.74 掉到 73.12 与 74.62。换 L1 距离、改灰度评测后攻击依然有效（99.97/95.08、99.77/99.96），说明挖出来的规则不绑定单一距离度量或颜色线索。

对大模型数据工作的影响：KD 不是通用净化手段，它清掉的只是「干净数据不支持」的触发痕迹，凡是能被干净样本支撑的恶意输入输出关联都会跟着蒸馏一起搬走。数据审计的检查对象要从异常样本扩到标签与特征子空间之间的关系，尤其在复用公开模型做蒸馏的场景。作者把范围限定在视觉模型与数字激活，未在其它模态上验证。

相关链接：https://arxiv.org/abs/2610.21208 、 https://arxiv.org/html/2610.21208v1 、 https://junhoo.me/backdoor