数据工程观察 · 2026年10月03日

本期五条全部落在同一个操作问题上：合成数据进了池子之后，凭什么判定这批该留下。三条讲筛选信号本身的失效点——个体级打分看不见样本之间的相互作用、只算覆盖不算训练效应会让选出来的子集退化、元网络沿用旧损失会把权重压到零；一条给出不依赖任何模型的低成本守门指标；一条把溯源码和适配性检验拆成两件事，说明前者替代不了后者。

一、个体级打分看不见组内相互作用，群体级信号才能补上

事件概述

合成数据已经进入预训练与后训练的各个环节，业界通行的筛选做法是先给每条样本打一个「训练效用分」再按分取顶部。一篇来自 CMU 与美国国家标准与技术研究院 AI 测量科学工程中心的工作指出，这套个体级信号对合成数据不够用：真正决定一批数据价值的是样本之间的相互作用，而个体打分在构造上就看不到这一层。

技术细节

作者先做了一组受控对比。候选池由 Repro 与 GooseReason 两个语料构造，每组样本规模在预训练设为 5120、10240，后训练设为 128、512；组内成员的个体代理分被约束在一条窄带内并使组均值对齐目标值，组成则按 BGE 嵌入做 k-means 分出的 20 个语义簇，从 1 个簇（同质）到 20 个簇（多样）之间抽取。这样一来，个体代理分相同、组间构成不同，差异只能来自群体效应。

结果是群体 oracle 在全部任务设置与组规模上都跑赢随机选取和个体代理 oracle。增益集中在生成式任务：自由生成（LAMBADA、SQuAD、CoQA）上群体 oracle 相对基座提升 +16.9%，个体代理 oracle +6.3%，随机 +4.7%；多选任务（HellaSwag、ARC-C、PIQA、MMLU、CSQA）三类方法挤在 +3.8% 到 +4.8% 之间。后训练的 GRPO 设置里，群体 oracle 选取下 pass@8 随训练上升，个体代理选取下终点低于起点。

第二个实验更贴近真实流水线：以 DCLM 为原始语料、4B 的 Repro 改写模型做复述，合成池固定为 716,800 条序列，改写因子 r 取 1、10、50。个体级方法（GradSim、FineWeb-Edu、BM25）在生成式任务上塌陷，群体级方法（GMRel、GREATS）胜出，多选任务上所有方法一起平台化。GradSim 贪心取最高分，拿到最高的群体 oracle 值却得到多样性最低的组。r=50 的高合成压力测试中，把 GMRel 的关系权重放大三倍，相对下游表现再提 +4.7%。

成本问题是这套方法落地的主要障碍，作者给出了可算的分配规则。命题 5.1 把个体代理与真实群体 oracle 的差距上界写成 |I_proxy - I_orcl| ≤ βη²σ_G²/2，其中 σ_G² 是组内梯度多样性。这个量与实测差距的 Spearman 相关在 0.58–0.63，高于 Vendi（峰值 0.48）和压缩率（0.57）；token 级的 distinct-2/-3 只在 GooseReason 上相关，在 Repro 上不成立。按它分配预算，在只付 20% 群体 oracle 调用的前提下，GradDiv 找回 top-10% 组中的 75%，随机分配只有 20%，Vendi 0.44、压缩率 0.40、distinct-3 低于随机基线。把每组只采 10% 梯度（q=0.1），召回从 0.75 降到 0.69、Spearman 从 0.44 降到 0.40，显存只占全量群体 oracle 的 27%。

对大模型数据工作的影响

第一，多选基准会掩盖筛选方法的真实差距，评测组合里必须留生成式任务。第二，改写复述类流水线（Kimi K2 的知识语料复述到 10 次这类做法）越深，个体级筛选越不可靠，需要把关系权重显式调高。第三，群体级打分不必全量跑，用组内梯度多样性做一次廉价排序、只对排序靠前的组付 oracle 代价，就能拿回大部分收益。

相关链接

https://arxiv.org/abs/2610.00779

二、TATC：把「训练效应」和「覆盖补缺」分开算

事件概述

合成数据不是越多越好，这一点业内已有共识，缺的是「该加多少」的定量判据。一篇线性理论工作把合成数据的价值拆成信息增益、噪声代价、偏置代价三项，给出每条样本加入后的边际价值闭式，并据此提出 Training-Aware Target Coverage（TATC）选样方法。

技术细节

理论部分把下游风险写成 V(S) = G_info(S) - C_noise(S) - C_bias(S)。在特征分解后，G_info = σ² Σ w_i·μ_i/(1+μ_i)，C_noise = τ² Σ w_i·μ_i/(1+μ_i)²，偏置项带 η_i²(μ_i/(1+μ_i))²。由此得到每个方向的最优合成量 μ*_i = (σ²-τ²)/(2η_i²-σ²-τ²)：合成数据的投放量存在一个有限的最优点，标注偏差越大、最优点越小。第 j 条样本的边际价值 Δ_j(S) 也给出闭式，可正可负。

数值验证很干净。文本实验里，只用覆盖度打分预测实测风险下降的 AUROC 是 0.519，接近随机；用完整边际价值打分的 AUROC 是 0.99，相关系数 0.99，符号一致率 99.2%。最优比例预测上，标注准确率 0.889 时理论给出合成/真实比 7.0、实测最优 8.0；标注准确率降到 0.836 时预测 0.90、实测 0.95；去掉 12 个坐标（准确率 0.604）后预测 0、实测也是 0——合成数据脏到一定程度，最优投放量直接归零。

落到工程方法，TATC 在 Qwen2.5-Math-1.5B-Instruct 上做 GSM8K：LoRA rank 16 先在 2,048 条真实样本上训出共享 checkpoint，512 条真实样本作目标探针，1,024 条作留出评测，候选池是 OpenR1-Math-220k 去重后的 4,096 条轨迹（每题最多保留一条），65% 的答案经核验正确。表示层面取最后一层隐藏状态在 prompt token 上平均得到 1,536 维向量，用那 2,048 条真实样本拟合 PCA 降到 64 维，同一次投影施加到真实探针与合成候选上。

选取预算 B 取 64、128、256、512。B=128 时 TATC 精确匹配率 87.34%，最强对手 OptimSyn 86.07%，去掉训练效应分量的 TATC(Coverage) 消融版 85.19%，2.15 点的差距就是训练效应分量的贡献；B=512 时这个差距扩大到 2.99 点。基线覆盖 Random、NLL、Embedding Vendi、G-Vendi、LESS、OptimSyn、Covariance Matching、BAIT。

对大模型数据工作的影响

两条可直接抄进流水线。一是选合成数据不能只看「目标方向有没有被覆盖」，覆盖度打分的判别力接近随机，必须把这条样本对当前 checkpoint 的训练效应一并算进去。二是合成数据的投放量应当按标注准确率反推，标注质量下探时主动缩减合成占比，而不是固定配比一路加量。

相关链接

https://arxiv.org/abs/2610.00814

三、TESS：换掉损失函数才救得回元网络选样

事件概述

用元学习给训练数据打权重（MTS）是相对启发式打分更系统的路子，但细粒度估值与跨数据迁移之间一直存在取舍。一篇工作指出，把逐样本权重换成选择网络、直接接进现有 MTS 目标会导致优化不稳与泛化变差，根因是权重抑制与对易学特征的持续依赖；改用均方误差式的 Pointwise Value Matching（PVM）目标后问题消失。

技术细节

作者把失效机理定位得很具体。ScaleBiO 目标会把大部分预测权重推向零，网络随之丧失区分好数据与坏数据的能力；剩下的判别力集中在易学特征上，于是转向捷径学习。Table 1 用安全/不安全分类 Accuracy 的 Acc_S - Acc_U 差距衡量捷径强度：强捷径（Cov/ρ = 0.17/0.57）下，TESS 配 PVM 损失的平均差距 16.33，TESS 配 SBO 损失 33.96，ScaleBiO 配 SBO 损失 30.39；弱捷径（0.06/0.41）下分别是 5.63、20.44、15.88。差距越小代表越没走捷径。

主实验在有害数据选取任务上做，ASR 越高代表选取越准，三个目标模型（Llama3-8B-Instruct、Llama3.1-8B-Instruct、Qwen2.5-7B-Instruct）× 两个数据集（Alpaca、Dolly）取总平均：Random 29.29、GradSafe 37.75、Bi-Anchor 42.61、SEALw 35.28、SBOw 37.38、SEALϕ 33.78、SBOϕ 32.70、TESS 53.64。泛化设置（在未见过的数据上打分）差距更大：SEALϕ 25.76、SBOϕ 23.94、TESS 48.51。

损失函数的消融直接对上机理。Qwen2.5-7B-Instruct 上，PVM 平均 59.16，换成 SBO 损失 37.56（−21.60）、KL 损失 42.92（−16.24）、伪标签排序 41.01；泛化设置下 PVM 53.51，SBO 28.89、KL 28.43。换到 Tulu V2 选 N 条微调 Llama-2-7B 的设定，TESS 平均 26.46，对随机的增益 +4.92，LESS +2.37、RDS+ +2.97，而 SEALw 的 20.67 反而低于随机。

跨规模迁移也成立：用 Qwen2.5-0.5B-Instruct 训元网络、给 Qwen2.5-7B-Instruct 选数据，训练设置下保留 77.53% 的 ASR，泛化设置下保留 83.67%，打分开销相对「大模型训、大模型选」加速 6.60× 与 5.65×。工程上还省掉 ScaleBiO 必须同时训练两个 LLM 与元网络的约束，峰值显存降 20% 以上。

对大模型数据工作的影响

打算用元网络做大规模语料筛选的团队，重点不在换更大的打分模型，而在换目标函数：只要沿用旧的双层目标，权重就会塌向零、筛选退化成捷径匹配。小模型训元网络、大模型直接用，是这套方法里性价比最高的部署形态。

相关链接

https://arxiv.org/abs/2610.02092

四、不用模型也能压住迭代微调坍缩：熵率过滤

事件概述

在合成数据上反复迭代微调会引发模型坍缩，最直观的征兆是短语级重复。已有的缓解手段要么需要模型 logprob，要么依赖外部 oracle，要么要求持续拿到真实人类数据。一篇被 NeurIPS 2026 接收的工作给出一条纯文本路径：非参数的 Kontoyiannis 熵率估计量 h_k，只靠匹配长度统计从原始文本算出，全程不碰任何模型。

技术细节

实验是 Llama-3.1-8B 上六代 QLoRA 的单谱系全合成微调。第六代结果按每条件 80 篇留出文档计算：h_k 过滤保留 1.43 bits/word，未过滤 0.79（p<0.001），logprob 过滤 1.16（p<0.001）。三个文本多样性指标上，h_k 过滤带来 Distinct-3 +42%、词表 +30%、文档内 4-gram 重复 −19%，三项 p 都小于 0.001。

对照组的失败有明确机理。配了模型 logprob 的 H_L 过滤在三个多样性指标上全数不显著（p 分别为 0.23、0.31、0.27）；它在 h_k 这个指标本身上胜过未过滤（p=0.008），但效果不到 h_k 过滤的一半。原因是微调一步之后 H_L 的分布就被压扁了：第 0 代标准差 2.17，第 1 代只剩 0.13，排序信号随之消失，过滤器退化成近似随机选取。混合效应回归把轨迹拆成起点与速率两部分，h_k 过滤的截距偏移 β=+0.37 bits（p=0.001），斜率改善 Δslope=+0.058 bits/代（p=0.067）；H_L 过滤两项都不显著。

两个过滤器选的不是同一批文档：域内 Jaccard 相似度均值 0.35，跨代跨域范围 0.18–0.54。作者还排除了「随便一个文本统计都行」的质疑。在第 0 代共享池上做静态比较，TTR@500 过滤选出文档的平均 h_k 是 3.37，Distinct-2 过滤 3.32，h_k 过滤 3.98，高出 18–20%；TTR 与 h_k 在池内 Pearson r=0.54，选取集 Jaccard 却只有 43%。差别在结构：TTR 和 Distinct-2 只在短窗口上聚合，h_k 对长程匹配结构敏感。

作为代理指标的标定也做了：跨 4 个域、2 个温度、2 组生成器-评分器模型对、1,520 篇文档，h_k 对真实熵率的回归 β=0.924、R²=0.746，与坍缩程度的相关 ρ=+0.454（p<0.0001）。

对大模型数据工作的影响

这条路径的落地门槛极低：不需要打分模型、不需要 GPU 推理、不需要留一份真实数据做锚点，一条匹配长度统计就能在每一代合成数据入库前做过滤。对只能在自有合成数据上迭代的闭源或小语种场景，这是目前成本最低的防坍缩闸门。它提供的不只是过滤器，h_k 本身还能当作坍缩监测指标挂在流水线上。

相关链接

https://arxiv.org/abs/2610.01493

五、溯源码替代不了适配性检验

事件概述

反复在模型生成的数据上训练会拖垮后续模型，一种自然的应对是查来源：知道一段文本出自哪个模型，据此决定要不要回收。一篇来自 Ericsson 的工作用金融风险文本检验了这条路线，结论是来源识别与「哪些数据值得训练」是两个问题，前者不能充当后者的代理。

技术细节

识别本身很成功。十生成器实验里两两 AUROC 均值 0.9995、最低 0.9811，十路分类器准确率 98.15%；后续七生成器的改写研究另用 word-TFIDF 分类器，在原始段落上识别生成模型的准确率 98.7%。加入人类对照语料后构成八类分类器，整体准确率 98.81%，测试集中每段人类文本都被归入人类类；生成 vs 人类的二分类里，每个生成器对应的 AUROC 下限都超过 0.9999。

改写之后急转直下。七个源模型平均：往返翻译 96.7%、释义改写 53.1%、风格迁移 29.0%、通用规避 46.9%。另训的 DistilRoBERTa 在改写前 96.0%、风格迁移后 9.4%，说明这不是词袋特征的独有缺陷。值得注意的是生成 vs 人类检测与精确生成器识别表现不同：在被测的人类对照语料上，二分类判别依然接近满分。

真正关键的第三个实验是三轮「生成—选取—重训」。一条规则按来源信息选，另一条按独立参考模型的打分选，两条规则选出的样本并不相同，但预设的对比没有检出两者在模型退化上的稳定差异。作者的措辞很克制：这个实验把来源身份、面向准则的选取、递归训练结果三者分开，溯源码和被测的面向准则代理都没有被确立为预测未来递归行为的充分依据。

对大模型数据工作的影响

正在建设数据溯源与水印体系的团队需要留意这条边界。溯源能力在数据治理、合规审计、版权归属上是有效的，一旦把它当成「这批合成数据能不能回收」的判据，就会踩到两个坑：一是改写一遍溯源准确率就从 98.7% 掉到 29.0%，二是即便溯源准确，来源标签与训练效用之间的关联在三轮递归里也没被建立起来。验收合成数据仍然需要一个面向训练效用的独立评分器，溯源码只能作为元数据并存。

相关链接

https://arxiv.org/abs/2610.00417