数据工程观察 · 2026年10月06日

本期五条工作都在给「数据进模型之前的那段路」重新算账。选样环节的特征提取 FLOP 能不能砍掉九成而下游不掉点；连续预训练的选样目标定在 loss 空间还是参数空间，token 账差出十倍；在线选样的增益上界由优化器的打分几何决定；训练批次序列在 GPU 拓扑变化之后还要保持一致；智能体写出来的数据流水线，跑一次通过和重放后依然正确是两件事。

一、选样特征只取输出层梯度，FLOP 降 9.7 倍

事件概述 宾夕法尼亚大学等机构提出 LESSER，把基于梯度的训练数据选样里的全参数梯度换成输出层梯度。LESSER 是即插即用的封装层，选样规则一字不改，只替换特征表示，分别接在 SFT 选样的 LESS、RL 题目选样的 GradAlign、蒸馏教师选样的 GRACE 上。

技术细节 输出层梯度只需要前向传播，全梯度要对每个候选样本做一次反向。论文报告特征提取 FLOP 在 SFT 上降 9.7 倍、RL 上降 3.0 倍；墙钟降幅更大，SFT 特征提取 17.8 倍，RL 单轮打分从 63.3 分钟压到 18.1 分钟（单张 A100），蒸馏教师选择 3.9 到 5.4 倍。这笔成本之所以值得省，是因为特征提取占了 LESS「提取加微调」总 FLOP 的 97% 到 99.7%。 下游精度方面，5 个 SFT 任务配 4 个 LLM，LESSER 与 LESS 选出的子集分差均值 1.3 点，对 RDS+ 是 2.2 点，对随机选样 2.6 点。两者选出的样本几乎不重合：同一个 197,196 条的 Tulu 池里各选 5,000 条，Jaccard 相似度只有 0.032 到 0.045。对齐发生在批次层面——相对 LESS 选出的批次，LESSER 的中心化梯度余弦相似度是 0.29，RDS+ 是 0.03，随机接近 0。按相似度分箱看，箱序号与 query loss 的 Spearman 相关 LESSER 为 0.714、LESS 为 0.887、RDS+ 为 0.058；20 组里 19 组正相关，18 组最近箱的 loss 最低。 RL 场景里把一半候选题的奖励用抛硬币破坏掉，LESSER 选出 29.7% 的损坏题，全梯度是 27.3%；按经验正确率最接近 50% 挑题的 AccGreedy 反而偏向损坏题，因为抛硬币的奖励把经验正确率推向 50%。GRACE 教师排序上，两者 Spearman 为 0.938、0.964、0.976，三个设置都选出同一个第一名教师。

对大模型数据工作的影响 梯度类选样此前的门槛是「每个候选都要反传」，LESSER 给出的答案是这个门槛在 SFT 场景里有九成是白付的；RL 与蒸馏场景降幅只有 3 倍上下，因为打分在总开销里的占比不同。样本级重合度极低这件事要留意：下游流程若依赖「选出哪些具体样本」的可解释性，换用 LESSER 会整批换掉样本，保住的只是批次方向的对齐。

相关链接 arXiv 摘要页：https://arxiv.org/abs/2610.03702 、HTML 全文：https://arxiv.org/html/2610.03702v1

二、连续预训练的选样目标挪到参数空间，1B token 打赢 10B token 的回放

事件概述 连续预训练（CPT）里选错目标域语料会把预训练 checkpoint 的能力覆盖掉。现有做法要么用困惑度这类参数无关的标量给候选打分，要么额外烧掉大量通用域回放 token 来压遗忘。这篇工作把选样目标从 loss 空间挪到预训练模型的 Fisher 几何里，用次模目标做单遍流式选择。

技术细节 作者先给出一个观测：参数无关的打分会让 CPT 之后的 Fisher 对角在预训练模型已「承诺」的高 Fisher 坐标上向下漂移，低 Fisher 坐标基本不动。这正是灾难性遗忘的不对称性——承诺方向受损，未承诺方向没被利用。 据此，每个候选的梯度被拆成两项：anchor 分量衡量沿已承诺参数方向的扰动，frontier 分量衡量低 Fisher 子空间里的更新容量。两项用 log-determinant 次模目标聚合，离线贪心有 (1−1/e) 近似保证；大规模流上用 Sieve-Streaming 单遍最大化。工程实现把分解限制在 LoRA 适配器子空间，Fisher 取对角，梯度用 TRAK 投影，Gram 的逆用 Sherman–Morrison 秩 1 更新，单候选代价 O(d²)，与池子规模无关。 医疗域 CPT 上，TinyLlama-1.1B 的 1B token 选样子集在适配与遗忘两个轴上都赢过用 10B token 训的回放策略：1B 预算下本方法拿到适配 +3.0、遗忘 0.6，回放策略是 −3.5、1.2；回放把预算加到 10B 也只到 −2.0、0.8。消融里去掉 anchor 项，适配还剩 +4.2 但遗忘涨到 5.0；去掉 frontier 项，遗忘只有 0.5 而适配掉到 +0.8；把 Fisher 换成单位阵是 +1.5、2.5。集合级 logdet 与逐样本 top-k 的差距同样清楚：Sieve-Streaming 拿到 +5.5、0.4，子集平均余弦 0.12，Gram logdet 18.5，耗时 1.2 ms；按 anchor 范数取 top-B 是 +1.8、0.6，余弦 0.45，logdet 8.5，0.3 ms。

对大模型数据工作的影响 CPT 的常规解法是「混合通用域回放」，代价按 token 数量线性增长。这篇工作把遗忘控制前移到选样阶段，1B 选出的 token 对 10B 回放 token 形成十倍 token 效率优势。对数据团队的含义是：目标域语料的入库筛选不该只问「这条干不干净」，还要问「训这条会把哪些已承诺的参数方向推歪」，后者是可以用预训练模型的对角 Fisher 便宜地估出来的。

相关链接 arXiv 摘要页：https://arxiv.org/abs/2610.02593 、HTML 全文：https://arxiv.org/html/2610.02593v1

三、在线选样的增益上界，由优化器的打分几何决定

事件概述 EPFL 团队把「优化器感知的在线数据选样」形式化为 OptiSelect：每一步从过采样候选池里给样本打边际效用分，只留分数最高的一批去训练。他们做了首个优化器如何塑造数据选样的系统研究，并给出选样增益的上下界。

技术细节 核心结论是一条选样增益原理：在线选样的单步优势随效用分数的可分辨性增长。Lion 的符号型预条件子会遭遇符号塌缩，D-Muon 的极切向预条件子会遭遇径向塌缩，两者都把 OptiSelect 的可得增益封顶；AdamW、Sophia 这类对角自适应优化器的上界严格更松。同一条原理还推出最优候选过采样比 λ*=2。 预训练实验与理论吻合：124M 模型上损失差 Δ 依次为 AdEMAMix +0.135、AdamW +0.119、Sophia +0.028、Lion +0.018、D-Muon −0.015；720M 上是 AdamW +0.104、AdEMAMix +0.096、D-Muon +0.049、Sophia +0.023、Lion −0.004。数据用 FineWeb-HQ，124M 跑 4.2B token、720M 跑 14B token，统一 128k 步。把打分几何与基础优化器解耦之后，匹配优化器的几何并非最优：以 D-Muon 为基础优化器时，AdamW 的对角自适应算子给出的打分仍然最强。数据改写之后选样收益保留，这一点对已经把改写写进流水线的团队是必要的。

对大模型数据工作的影响 数据选样管线和优化器选型此前是两件分开决策的事，这篇工作给出两者必须联合设计的证据：换了 Lion 或 Muon，在线选样的收益会缩到接近零甚至转负，而同样的算力花在 AdamW 上能拿到 0.1 量级的损失改善。λ*=2 也给了过采样池一个可直接落地的默认值——候选池扩到两倍就够了，再扩只是在给打分付钱。

相关链接 arXiv 摘要页：https://arxiv.org/abs/2610.03432 、HTML 全文：https://arxiv.org/html/2610.03432v1

四、在线有状态数据加载的弹性确定性，代价是 16% 到 22% 吞吐

事件概述 DatologyAI 与 ETH Zürich 等十七位作者提出 Zephon，一个面向基础模型的 data loader，目标是在线、有状态流水线上的弹性确定性：GPU 拓扑变了、checkpoint 恢复发生了、执行后端换了，全局训练批次序列仍然一致。论文在 VLDB’27 审稿中。

技术细节 难点在于现代数据流水线在线做 tokenize、pack 和 mix，引入有状态的 n 对 m 变换，样本索引被打断——分词把文档切成数据依赖的子序列之后，第 t 步对应哪条源记录取决于前面所有文档的长度。现有 loader 大多假设可索引的 1 对 1 流水线，离线物化的绕行方案很贵，视频这类模态根本做不到。 Zephon 的机制是 lane：全局流被切成用户配置数量的 lane，每条 lane 是独立、确定、互不重叠的子流，各有自己的算子状态。排序决策串行化，无状态工作在可替换后端上并行；checkpoint 只存有界的在途状态，恢复代价不随训练进度增长。 吞吐上分两档。文本场景（4,096 token 序列）worker 型基线占优：Grain 16 worker 峰值 201k 样本每秒，LitData 120k，Streaming 100k，Zephon 进程 runner 在 DOP≥8 时饱和于 59k，线程 runner 受 GIL 限制停在 34k。VLM 场景（变长 dict，含多张图）完全反过来：LitData 和 Streaming 无论加多少 worker 都卡在约 2k，Grain 在 64 worker 到 5.8k，Zephon 进程 runner 到 16k，是最好基线的 2.7 倍。关掉确定性重排，峰值从 59k 和 16k 升到 62.1k 和 20.5k；再剥掉引擎记账、lane 执行、贡献者跟踪和重放控制，到 70.6k 和 20.6k——这套保证的代价是 16% 和 22%。 checkpoint 侧，100 步时存到 S3 含聚合耗时 3.03 秒、体积 2.61 MiB；1k 步和 10k 步是 2.92 MiB 和 2.97 MiB、3.56 秒，在途记录数为 26.6k、29.8k、30.3k，几乎不随训练进度涨。恢复的首批时间 48.5 秒，冷启动 44.8 秒，多 8%。最坏情况（K=1）下强制 flush 带来的 token 浪费不到 0.37 个百分点。 收益端：1B 模型训 20B token，在 8、16、32、64 张 GPU 上各跑一遍，没有弹性确定性时 DCLM Core v1 得分离散 0.922 pp、FineWeb 0.555 pp，约为可作数差异参考线的四倍；用 Zephon 之后降到 0.061 pp 和 0.007 pp。2.1B VLM 上，平均绝对成对差异低 5.84 倍。

对大模型数据工作的影响 消融口径失真的一大来源是「换了卡数就等于换了一批数据」。0.922 pp 的离散度足以盖掉数据配方带来的真实差异——DCLM 认为 0.2 个 Core v1 点以内算可比，FineWeb 过滤器的最小可复现提升约 0.15 pp。花 16% 到 22% 的加载吞吐把这个混淆项消掉，对做配比消融的团队是划算的；只在文本场景跑、且加载不是瓶颈时，这个代价要重新估。

相关链接 arXiv 摘要页：https://arxiv.org/abs/2610.03087 、HTML 全文：https://arxiv.org/html/2610.03087v1

五、跑一次给过的数据流水线，重放之下 7% 到 79% 静默算错

事件概述 单作者工作 ArrivalBench（NeurIPS 2026「Who Verifies the Agents?」 workshop 接收）指出，当前的数据智能体基准用一个固定快照把流水线跑一遍来评分。他们改成在可重放的投递调度下重新执行同一份 artifact——迟到、重复、乱序、重试——并要求最终状态等于对完整日志的批量重算。

技术细节 oracle 是重算而不是分类，所以「算错的表」和「崩溃」是两个独立判决：崩溃在团队已有的监控里看得见，算错的表看不见。基准含 40 个任务、42 条负对照、六种有文档依据的投递 hazard。 结果是快照式评分饱和，时间维度上却拉开了十一倍差距。作者复现的单次执行评分给十一个模型的认证通过率是 86% 到 100%，重放同一批 artifact 发现其中 7.0% 到 79.2% 静默算错。最强的一端 GPT-5.6 Sol 快照 100.0%、静默失败 7.0%（95% CI [1.5, 14.5]），Opus 5 快照 100.0%、16.7%（[8.5, 26.4]）；最弱的一端 Codestral 快照 86.0%、静默失败 79.2%（[67.2, 89.9]）。这个差距不是修复循环造成的：同一模型同一任务下，对着快照测试修过的流水线和一次就过的流水线，重放失败率差不多。 失败有共同签名：十一个未提示 arm 里，幂等类 hazard 的失败率都高于顺序类 hazard，十八个对比无一反向。把错答和崩溃分开之后，干预的读法也变了——加一条 hazard 提示把某个模型的静默失败从 48.2% 压到 10.5%，崩溃率从 9.0% 抬到 37.0%，全口径失败只从 51.0% 走到 44.0%。可靠性方面，28,041 条可判决全部从存档 artifact 重评，零不一致；十一个 arm 各自独立重跑，比率变动最多 5.9 个点。作者还撤回了三条早期试点里没能在 40 任务上复现的结论。

对大模型数据工作的影响 用智能体生成数据流水线的团队，验收标准需要加一条：把同一批记录换成迟到、重复、乱序、崩溃后重试的调度再跑一遍，跟完整日志的批量重算对账。快照式验收给出的 86% 到 100% 通过率几乎不含区分度。提示词能把静默失败转成崩溃，属于把不可见错误变成可见错误，值得做，但不要把它当成失败率下降——全口径只降了 7 个点。

相关链接 arXiv 摘要页：https://arxiv.org/abs/2610.02363 、HTML 全文：https://arxiv.org/html/2610.02363v1