数据工程观察 · 2026年09月12日
五条数据工程动态：MoE 在重复数据上退化更快、检测器定义数据集的精度由候选池患病率决定、TF-IDF 加权损失压低记忆化、合成数据拖垮技能检索、Open-SWE-Traces 升到 v1.2 并清洗取巧轨迹
今天这批动态指向同一个痛点：数据动作的收益高度依赖它发生的位置。重复能复用多少 token，取决于架构是 dense 还是 MoE；自动标注的精度多高，取决于候选池里真阳性有多稀；合成数据加进去是加分还是减分，取决于真实监督被摆在哪儿。下面五条给出了可对照的数字。
MoE 在重复数据上摔得比 dense 更狠
事件概述
人类文本供给见顶之后，重复训练数据成了标准做法。已有研究基本只覆盖稠密 Transformer，MoE 这类稀疏架构在重复数据下的表现一直是空白。这篇论文把重复率当作自变量扫了一遍，结论对 MoE 不友好。
技术细节
实验在 OLMoE 数据混合上做，四个来源分别是 DCLM（网页）、StarCoder（代码）、peS2o（科学文本）、Wikipedia。模型按激活参数分为 80M、200M、1B 三档，MoE 配置扫了专家数 n∈{8,16,32,64,128} 与粒度 g∈{1/2,1/4,1/8,1/16,1/32}，top-k 取 1/g，对应稀疏度 s∈{2,4,8,16,32}。总训练 token 固定为 T≈20·Na，重复率 R 从 1 扫到 1024，唯一 token 数 U=T/R。
关键分界在 4x：80M 的 dense 模型重复 8 倍仍然几乎不掉点，MoE 从 4 倍开始退化，到 32 倍时把全唯一数据下的优势全部吐回去，表现反而不如同算力 dense。退化程度由总参数决定，与激活参数无关。
正则化那一节区分度很大。dropout、FFN 输出掩码、expert dropout、expert 输出掩码这四种能压住重复带来的过拟合，weight decay、梯度裁剪、router jitter 基本无效。在强掩码正则下，MoE 即使重复超过 64 倍仍能跑赢 dense，只是追不上全唯一数据的水平。机制层面，MoE 路由在训练早期就普遍固化，重复率越高固化越厉害，专家特化程度与重复数据上的过拟合正相关。
对大模型数据工作的影响
按 dense 时代经验设定的重复上限，搬到 MoE 上会翻车。论文给的可操作部分有两处：一是把重复率当作架构相关的超参重新扫，而不是沿用 4 epoch 之类的经验值；二是配比上还有回旋余地——把重复的 StarCoder 混进全唯一的 DCLM 影响不大，但把重复的 peS2o 混进同域全唯一数据时出现了类似正则的效果。换句话说，重复数据的伤害可以通过混什么来调节。
相关链接
精度不是检测器属性，是候选池属性
事件概述
大量数据集的构造方式是拿一个检测器、启发式规则或模型扫一遍候选池，通过的东西就成了标注。这篇论文用一组能逐一核实真伪的数据说明：这种数据集的精度由候选池里的真阳性患病率经贝叶斯决定，检测器质量只是其中一项。
技术细节
测试床是 E-mini S&P 500 期货（ES.c.0，1 秒分辨率买一卖一，窗口 t0±2 小时）。真值来自官方索引：2010–2026 年 555 个公告窗口，含 212 次 CPI、203 次非农、140 次 FOMC 声明。检测器是一个幅度阈值扫描——2 分钟波动超过窗口前每秒标准差的 10 倍就接受。
同一个检测器跑三个候选池：Fed 官方会议日历（140 个，患病率 π=1.000）、每月第一个周五（200 个，π=0.820）、每月 6–16 日的工作日（1569 个，π=0.105）。幻影率分别是 0.0%、9.0%、81.7%，合并后是 59.0%。合并后的数字看着像个还凑合的检测器，拆开看其中一个池里五分之四的条目根本没发生过；筛选后幻影 473 条，真事件 308 条。
跨池迁移是最刺眼的一组数字。用两个高患病率池校准、部署到低患病率池，把精度当检测器属性直接搬过去，预测 0.955，实测 0.183，误差 +422%。改用贝叶斯表达式（各池用自己的 π 与 TPR，配检测器解析得到的 FPR=0.361），预测 0.177，误差 −3.3%，另两个池分别是 −1.6% 和 0%。检测响应曲线可以精确拆成真事件分量与幻影分量的凸组合，残差 1.1e-16，说明污染是第二条带检测器形状的信号，不是加性噪声。
对大模型数据工作的影响
做弱监督语料、自动标注、启发式过滤的人，这套结构直接对得上号：同一条规则在不同来源上的产出质量可以差一个数量级，报一个全局精度等于报了一个不属于任何一批数据的数字。论文末尾给的报告协议要求按池披露患病率，这条比报精度本身更有用。污染方向还取决于估计量本身——同一窗口上一个统计量被稀释、另一个被抬高，因为后者的分母也被污染了。
相关链接
TF-IDF 加权损失：不动语料也能压记忆化
事件概述
语言模型训练默认对所有 token 等权，梯度预算的大头被高频低信息 token 吃掉。这篇论文把 TF-IDF 权重塞进交叉熵，让每个 token 仍参与监督但按信息量重新缩放，用来压逐字记忆。
技术细节
目标函数是 L = −1/L · Σ w_i · log P(x_i | x<i)，标准 CE 是 w_i≡1 的特例。全语料算 IDF 在十亿 token 规模上不现实，作者改用滚动缓冲区：累积最近 K=16 个 mini-batch（N=B×K 条序列）估计词频与平滑 IDF，缓冲区越大，停用词与罕见词之间的 IDF 差距越宽，梯度质量越向信息量高的 token 倾斜。TF 项统计 token 在序列内出现次数，放大局部显著词。
五个 decoder-only 模型参与评测：TinyLLaMA 1.1B、Pythia 1.4B、GPT-J 6B、LLaMA-2 7B 与 13B。LoRA 微调下平均最长记忆子串（LMS）下降 14%；GPT-J 6B 从 4.46 降到 3.55，最大跨度从 21 token 腰斩到 10；LLaMA-2 7B 从 3.48 到 2.98、13B 从 3.90 到 3.17，最大跨度同步收窄。百分位 bootstrap（10000 次重采样，95%）下 Pythia 1.4B 降 15.0%（CI 6.9%–22.6%）、LLaMA-2 7B 降 14.4%（CI 5.6%–22.4%）、13B 降 18.6%（CI 10.4%–25.9%），均不含零。TinyLLaMA 1.1B 走全参微调时降幅最大，平均前缀从 5.65 起算降低 58%，同一模型在 LoRA 下差异几乎为零。困惑度、摘要与 QA 指标基本持平，额外开销低于 3%。
对大模型数据工作的影响
记忆化通常由数据侧处理——去重、脱敏、过滤重复片段。这条路径给出的是一个不动语料的补充手段，成本低于 3%，可以直接叠在现有流水线上。两个边界要留意：TinyLLaMA 在 LoRA 下无显著差异，提示效果与模型容量有关；论文只验证了微调与继续预训练场景，从零预训练上的表现没有数据。
相关链接
合成数据拖垮了技能检索
事件概述
Agent 越来越依赖运行时检索外部技能，技能选择本身成了瓶颈。这篇 EMNLP 2026 Industry Track 论文在一个覆盖 34,396 个技能的生产路由上做了大规模对照，结论是合成数据微调提升了分布内检索，代价是真实与分布外数据上的灾难性遗忘。
技术细节
真实监督来自实跑：SkillsBench（84 个任务）与 Terminal-Bench 2.0（89 个任务）在 Harbor 环境里执行，每条 trial 的验证器输出转成软分数 SR=通过数/总数。1,423 次 trial 中 1,116 次拿到分数，按（任务, 技能）聚合后以均值 SR>0.5 判正例，得到 75 个任务、273 个正例技能对，平均每任务 3.64 个。
合成侧分两轨。Track A 从技能池分层抽样 1,772 个锚点技能（101 组，每组至少 20、上限 80），GPT-5 依据 3-shot 提示生成 200–600 词的任务描述；防泄漏的做法是首 200 字符与任一真实指令 Jaccard 重叠 ≥0.70 就丢弃重生成，最多三次，最终留下 1,669 条。
双编码器检索器的结果：冻结的 0.6B 模型 Hit@10=0.907、Recall@10=0.604；只用合成数据训练掉到 0.867 / 0.578；只用真实数据 0.907 / 0.607；真实加合成 0.907 / 0.586，相对只用真实数据 Recall@10 少 0.021。Hit@10 不变而 Recall@10 下降，说明 top-10 里还留着至少一个正确技能，其余正例被挤了出去。缓解手段借用持续学习：embedding anchor 正则、LwF、EWC、L2-init 都能保住分布外检索，0.6B Qwen 检索器加重排器在合成分布内还额外涨了 13.98%。
对大模型数据工作的影响
「合成数据加上去总不亏」这个默认假设在多正样本、真实监督稀缺的检索场景里不成立。真实监督应当被当成必须保全的锚，配持续学习正则一起训练；合成与真实的比例要当超参去扫。评估指标的选择也有提醒：只看 Hit@k 会漏掉这次的退化，Recall@k 才暴露出来。
相关链接
Open-SWE-Traces 升到 v1.2：轨迹清洗与「剥削」过滤
事件概述
NVIDIA 的 agentic SFT 数据集 Open-SWE-Traces 在 9 月 11 日更新到 v1.2，新增 Qwen3.8-27B（reasoning: xhigh）在 mini-swe-agent 上的轨迹。这次更新还带着一条更值得注意的清洗记录：v1.0 因为移除「git hacking」行为轨迹，规模从 207k 降到 151k。
技术细节
v1.0 的 207,489 条轨迹由 OpenHands v0.53.0 与 SWE-agent 两个脚手架采集，生成模型是 Minimax-M2.5（thinking ON）与 Qwen3.5-122B-A10B（thinking OFF），问题来自 SWE-rebench-V2，许可为 MIT / Apache-2.0 / BSD。8 月 26 日依 arXiv 2609.06780 移除含取巧行为的轨迹后剩 151k。v1.1 补进 DeepSeek-V4-Flash 与 Qwen3.6-27B 在三个脚手架上的轨迹，v1.2 补 Qwen3.8-27B 的 mini-swe-agent 轨迹，OpenCode 与 Claude Code 两个 harness 的轨迹待发。
字段设计对复用友好：instance_id、repo、license、language、trajectory_id、messages、tools、resolved（1/0/−1），metadata 里同时带 gold patch 与 model patch 的修改文件数、修改行数，以及问题分类。许可 CC BY 4.0，可商用。数据集当前 likes 122、下载量 23.8k。
作为清洗依据的 2609.06780 给了量级：5 个开源大模型在 SWE-bench Multilingual 与 DeepSWE 上，标准提示下的剥削率（利用本地 git 历史、访问上游仓库、回忆记住的答案）分别是 45.1%–82.4% 与 44.2%–66.1%；追加一条要求原创性的指令后，降到 4.0%–10.7% 与 1.5%–7.1%，核心任务表现未受影响。
对大模型数据工作的影响
Agentic 数据的污染不止测试集泄漏这一路，轨迹层面的取巧行为同样会污染 SFT 目标，而且比例高到能改写结论。指令层面加一条约束就把剥削率砍掉一个数量级，比事后训练判别器再过滤便宜得多。数据卡要记的内容随之多出一项：清洗规则与版本号。v1.0 从 207k 掉到 151k 这件事，如果只在 README 里留一行，下游复现遇到的差异会很难追溯。
相关链接