数据工程观察 · Vol.147

数据工程观察 · 2026年10月14日

五条动态分别落在数据管线的五道工序上：合成数据的生成空间该按什么改、语料翻倍能换回多少稳定性、标签里的毒在哪个特征空间才看得见、SFT 的每个 token 值多少监督、难度课程推到第几档该停手。

2026年10月14日数据工程合成数据语料构建数据清洗数据投毒 SFT RLVR 数据筛选课程学习数据标注 Scaling Laws 采样方差数据配比预训练数据

arXiv cs.LG / cs.CL / cs.AI 当前挂出的最新批次仍是 10 月 12 日这一批，三个源合计 438 条。挑出的五条正好落在数据管线的五道工序上——造、采、洗、选、排。没有一条提出新工序，五条都在已有工序上加了一把能复核的尺子：合成数据的生成空间按什么改、语料翻倍能换回多少稳定性、标签里的毒在哪个特征空间才看得见、SFT 的每个 token 值多少监督、难度课程推到第几档该停手。其中四条给了定量口径。

一、造：EvoSyn 按学习者反馈改生成空间，不只加量

事件概述

自演化数据合成的主流做法是拿环境反馈、数据校验或学习者失败去调样本，反馈到决策之间仍隔着一层：观测到的弱点没有直接说明下一轮该改合成的哪个部分，也没说明现有生成空间能不能表达这个弱点。EvoSyn 把合成组织在一个可修订的「生成空间」上——这个状态显式写清哪些交互因素可以被刻意生成、合成投入往哪投，再由一个角色分工的多智能体系统把学习者反馈翻译成对空间的修订。

技术细节

框架分三条修订通道。Reflector 审阅当前生成空间，判断学习者的残余弱点是否已被现有因素表达；Designer 分配合成方向；Planner 把方向落成可执行的交互经验。修订本身有两种：空间内适配（在已有坐标上重新分配合成投入）与空间扩张（把反馈新暴露的因素提升为显式生成控制）。扩张只有在两类证据下才被允许——失败驱动，即某个可测交互属性与学习者失败系统相关；覆盖缺口驱动，即某个重要区域严重欠覆盖。每轮最多引入一个新因素，且新因素必须可解释、低基数、与已有因素不冗余、下游合成管线能实现。

结果给在 τ²-Bench 与 CAR-Bench 上：平均任务成功率比最强合成基线高 13.3 个点。τ²-Bench Airline 的三轮演化更能看出差别——EvoSyn 从 0.648 走到 0.693 再到 0.713，而固定接口下只做样本累积的静态多轮是 0.648、0.633、0.660。到 R3，EvoSyn 在因素覆盖、因素均衡、交互覆盖、复杂度覆盖和轨迹模式多样性上全面更高，差距最大的是轨迹模式多样性，0.769 对 0.538。

对大模型数据工作的影响

合成数据团队的常见迭代是同一套配方多跑几轮、把样本堆上去，这条给了个反例：不改生成空间的堆量会先涨后跌，而轮次变有用是因为合成过程本身被修订过。把「哪些因素是显式生成控制」列成一份可增删的清单，比调 prompt 更容易交接和复盘。覆盖缺口那条判据可以直接搬进合成管线的监控看板——高价值区域空着，比样本总数不够更值得报警。

二、采：语料翻倍换来的稳定性，远低于 1/n 律

事件概述

同一总体再采一份语料，预测器的输出会变多少？这篇把每篇源文档当成一次观测，为两个独立语料上拟合的预测器之间的期望分歧导出一阶公式。公式覆盖了变长文档、随机上下文计数和跨 token 偏移的相关性，并且只用一个参考语料就能算，不需要接触两份目标语料。

技术细节

预测器是平滑的、由邻近 token-pair 计数构造的掩码文本重建器，在 GPT-2 完整的 50,257 词表上评估。实测最打脸的一项：语料从 512 涨到 2,048 个 64-token chunk，分歧只降 5–40%，而 1/n 律在这一区间预测的是 75%。作者把这个缓慢下降追到罕见上下文的平滑上。

预测本身的标定高度依赖参考语料大小。用 2,048-chunk 参考语料时，在 n=2048 处低估分歧 13–18%；到 n=4096，低估扩大到 27–33%（TinyStories 用七对、WikiText-103 五对、CNN/DailyMail 四对）。参考加到 6,144 chunk，n=4096 处的缺口收到 8–11%，却在 n=512 处转为高估。只用参考数据做的 source-split jackknife 把标定误差降了 57–59%。罕见性有多普遍也给了个数：一个 2,048-chunk 的 WikiText-103 参考库里，7.3% 的评估查询落在从未见过的行上，20.8% 落在观测数不足 5 的行上。

对大模型数据工作的影响

「语料再加一倍，输出就更稳」这类预算论证缺一个可算的下界，这篇把下界补上了：在罕见上下文主导的区间，翻倍只买回 5–40% 的分歧下降，采样方差的账不能按 1/n 算。同语料训出的小 masked diffusion LM 还暴露了另一层——计数式预测能部分指出哪些输入对语料最敏感，却漏掉了神经模型分歧下降得快得多这件事，用计数代理去挑数据会系统性低估语料规模对模型侧的影响。

三、洗：标签审计查的是空间，不是统计量

事件概述

有些后门从不碰像素。FLIP 只翻标签：CIFAR-10 上翻掉 3% 的标签，ResNet-32 就把 99.7% 的触发源类图送到攻击者指定类。常见防御去一个「用这些标签训出来的模型」里找毒，找不动的时候，问题出在检验本身还是出在检验所在的空间？作者做了一次受控替换：检验、标签、指标全部固定，只换特征空间，并且用受害者模型在保留数据上重训后的表现来评判防御。

技术细节

空间几乎决定一切。同一个最近邻检查，在中毒受害者自己的特征上 AUROC 只有 0.546（dog→cat，接近随机），在从未见过这些标签的冻结 DINOv2 特征上是 0.967，而同一架构在干净标签上训出的特征给 0.995——后者是 oracle 对照而非防御，说明缺口来自「拟合了毒」，不来自有监督学习本身。SPECTRE 被复现到 90.94 / 0.97（原文发表值 91.47 / 1.7），复现之后就能定价：在 truck→deer 上它要删掉每个类 20% 的样本才移除后门，冻结特征上的原型审计只删 6%，在干净准确率和攻击成功率两个方向都更好。三个更难的类对上，这个审计仍留下约四分之一的攻击成功率。

两处反例值得单独记。检测分数不能给审计排序：四对里有两对 Confident Learning 的 AUROC 更高，但 dog→cat 上留下的攻击成功率是审计法的 2.6 倍；静态表现最好的原型族，恰恰是自适应攻击者第一个绕过的。移除还存在饱和——抓到更多毒样本，超过某一点后就不再压低攻击成功率。

对大模型数据工作的影响

做数据清洗和投毒检测时，把判别器放在被检数据训出来的表示上，等于让攻击者挑你审计的坐标系；换成外部冻结编码器或干净标签训出的同架构特征，同一套统计量的 AUROC 能从 0.546 抬到 0.967。另一条更该进流程：防御的报价要按「重训后的模型」给，删了多少、干净指标掉多少、攻击还剩下多少，三个数一起报，只报排名会选错方法。

四、选：SFT 每个 token 值多少监督，用条件信息增益量

事件概述

固定示范做 SFT 会直接把外部推理策略和行为模式灌进模型，也会干扰预训练已支持的行为，把泛化压在训练分布内。DFT、IDFT、ASFT、PriFT 这类动态 SFT 按模型侧信号重加权 token——预测概率、先验支持、分布兼容性。作者指出模型兼容性不等于学习价值：当前模型支持弱的 token，既可能是不想要的错配，也可能正是这条示范要教的任务特定决策，两种情况的权重却会被同一条规则压下去。

技术细节

CIG-SFT 换个问法，量「任务本身带来的信息」。在 teacher forcing 下，保持 gold 解前缀固定，比较冻结参考模型在有任务输入和无任务输入时该 token 的似然，差值即条件信息增益，量化任务把对示范决策的不确定性降了多少。这个量再被转成当前策略的 KL 正则化投影，并导出等价的标量加权 SFT 目标，其 logit 梯度与投影目标精确一致。λ 固定为 0.3，全程不变，不需要额外训练数据，也不需要在线 rollout。

数学推理上两个尺度都成立。Qwen2.5-Math-1.5B 上 CIG-SFT 拿到 31.5% Avg@16 与 58.6% Pass@16，比标准 SFT 高 17.7 / 16.3，比 DFT 高 5.2 / 9.6；7B 上是 38.5% / 63.5%，比 DFT 高 6.8 / 12.4，增益集中在 MATH500、OlympiadBench 和 AIME。从 NuminaMath-CoT 留出、未参与训练的 1,000 条同分布样本上，Avg@16 为 51.8%，对照 DFT 50.8%、ASFT 50.5%、SFT 42.4%。通用能力四个基准的平均准确率从 56.1% 变到 55.9%（MMLU-General −0.2、ARC-Challenge −0.5、HellaSwag −0.6、PIQA +0.3），DFT 掉到 54.9%、IDFT 掉到 54.4%。

对大模型数据工作的影响

监督信号的分配有了一条与「模型认不认」正交的判据：这个 token 是不是由任务本身决定的。对蒸馏数据集尤其直接——示范轨迹里大量连接词和格式 token 的条件信息增益接近零，压掉它们不会动到解题决策。实现上只是一次额外的冻结参考模型前向，能离线预计算成标量权重，接进现有 SFT 训练器的代价很低。

五、排：GRPO 的难度课程推进一档就到顶

事件概述

GRPO 在线挑样的常见做法是锁中等难度——组相对优势在这段最可能给出有信息量的学习信号。锁住中等难度能不能拿到最好的最终模型，还是该往难处推？难度还会随策略演化漂移，离线估一次就固定下来会与当前策略错位。作者按当前策略重估难度，设计了把活性难度带逐步推向更难区间的分段课程。

技术细节

难度用当前策略下的问题成功率 P_t(x) 度量，离线难度分析每个问题采样 G=32 条响应，课程实验用 G=8。活性难度带通过指示函数门控，只有至少一个样本满足门控的优化步才计为有效更新。实验跑 GSM8K、Qwen2.5-1.5B-Instruct 加 LoRA，主奖励是答案正确性，另有权重 0.2、偏好长度 60–650 token 的辅助长度奖励，不参与难度计算。

三个种子的结果排成一条非单调曲线。标准 GRPO 最优 0.6444±0.0026；静态课程 0.6522±0.0022；固定中等带 B3=[0.375, 0.625] 只做在线重选 0.6449±0.0024；分段推进到 B4 后升到 0.6591±0.0077；继续推进到 B5 再跑 100 次有效更新，掉到 0.6405±0.0053。Seed 1 的轨迹看得很清楚：B4 内 700 步是 0.6558，进 B5 后 750 步 0.6391、800 步 0.6353。

对大模型数据工作的影响

「一直挑中等难度」不是最优解，推进一档才拿到三个种子里最高的 0.6591；再推一档就把收益全部吐回去。RLVR 数据池的难度分档因此得配一个停止条件，而不是一路推到底；难度也要按当前策略周期性重估，离线一次性打分的档位会失效。静态课程（0.6522）与固定中等（0.6449）之间的差还说明，课程编排本身比「在线重选」这个动作更值钱。