数据工程观察 · Vol.124

数据工程观察 · 2026年09月19日

AutoData 让 agent 直接搜索预训练数据选择算法；QVAC Genesis III 发布 191.43B token 开源合成 STEM 语料并把错题转成训练资产；两项研究指出梯度归因挑的是答案格式而非任务语义、过滤潜意识学习不可靠；对齐中训练被 2% 冲突后训练数据推翻。

数据工程 预训练数据 数据选择 合成数据 数据归因 中训练 数据配比 数据集发布 数据清洗 数据审计 LLM STEM

本期五条全部出自 arXiv 9 月 17 日提交、18 日进入列表的批次。把它们放在一起看，主线很清楚：数据该按什么信号选、由谁来选。两条工作把选择权交给了自动化——一个让 agent 直接搜索选择算法，一个用弱模型错题反向构造语料；剩下三条则在给现有的选择手段做压力测试，结论都不算乐观。

AutoData：把预训练数据选择变成 agent 可搜索的程序空间

事件概述

阿姆斯特丹大学与 Weco AI 提出 AutoData，不再让人手工组合去重、质量分类、困惑度过滤、领域配比这些固定算子，改由 LLM agent 在「可执行选择算法」的空间里搜索，用代理模型的验证反馈驱动迭代。

技术细节

数据池是 NVIDIA 的 ClimbMix，400B token 英文语料，选择预算压到全池约 2%，对齐 NanoChat speedrun 的实际用量。每篇文档带 8 个特征：长度、1–5 gram 多样率、主题与格式标签、参考模型困惑度，以及 LLM 标注的事实性、推理错误、推理步数。每一步搜索，agent 提出一个选择函数，在 88 万篇文档子集上训练 depth=8 的 GPT-2 代理模型（约 0.42B token，单张 H100 约 10 分钟），拿验证 bits-per-byte 与 CORE 打分后再改下一版。200 步之内得到的配方，在 val-bpb 上超过 DCLM 分类器、困惑度过滤、RegMix 与 ClimbMix 默认排序，并从 125M 一路保持到 897M；到 depth=24 与默认排序持平，跨尺度迁移存在上限。CORE 上除 depth=16 外都领先，但作者自己说明这些优势没有统计显著性。

消融给出两个反直觉的点：只用 LLM 标注这 3 个特征效果最好（val-bpb 0.95021，比随机采样高 2.1σ），而只用「长度 + n-gram 多样率」两个便宜特征就能追平八个特征全开；单看困惑度一个特征还略好于全量。三个底座模型（GPT-5.5、Gemini-3-Pro-Preview、Claude-Opus-4.7）产出的 600 个配方里，硬阈值与全局 top-B 占比极低，主流是复合打分配保多样性机制——GPT-5.5 偏好带噪声的锦标赛选择（91.0%），另两个偏好分层配额（各 87.5%）。

对大模型数据工作的影响

这条最实际的价值是把「换语料」的收益量化了：NanoChat 上把训练集从 FineWeb-Edu 换成 ClimbMix，达到同等 CORE 门槛的时间少约 27%，比同尺度的大多数架构改动都大，而 AutoData 说明在这条曲线上还有第二个可挖的杠杆。对数据团队来说，特征工程不必追求堆满：两三个便宜特征足以撑起搜索空间，而 LLM 标注是下一个值得加预算的方向。另一层提醒是评估口径——val-bpb 稳定显著、CORE 全部不显著，说明小代理上的选择收益未必能在高方差下游指标上复现。

相关链接

QVAC Genesis III：191.43B token 开源合成 STEM 语料，错题被当成资产

事件概述

Tether AI Research 发布面向边缘部署的 STEM 合成预训练语料 QVAC Genesis III，规模 191.43B token，覆盖 19 个学科、3 个难度档（高中、大学、专业），用 4 种文体（教科书、网页文章、问答、对话）渲染。

技术细节

生成走双通道，信号来自一个边缘规模的弱学生模型：学生答错时触发 Failure Analysis，由教师模型诊断其可能的错误概念并写出针对性纠正解释；学生答对时触发 Option-Level，教师把题目展开成对全部选项的逐一推理，讲清正确项为何成立、每个干扰项为何不成立。控制实验用 1.7B 模型从零训练，FA 分片 1 epoch / 82.76B token，OL 分片 1 epoch / 108.67B token，合并语料 1 epoch / 191.43B token，对照是 token 量对齐的 Cosmopedia-v2（7 epoch / 约 192.4B token）与已发布的 Cosmo-1B。合并语料在 ARC-E、ARC-C 上分别高出 28.57 与 21.35 个百分点，MMLU STEM（19 学科）高 15.03 个百分点，GPQA Diamond 高 2.52 个百分点；有效答案率 92.06%，OL 分片单独跑到 99.45%。论文还给了 LLM-as-a-parser 评测协议，把「能不能抽出答案」与「答得对不对」分开统计。

对大模型数据工作的影响

值得借鉴的是对「错误样本」的处理方式：常规合成管线把答错样本直接丢掉以保语料干净，这里反过来把错题转成纠正性讲解，等于把一次失败变成一次针对性监督。对算力受限的小模型训练，这类按 token 计学习效率的思路比继续扩量更实用。另需说明：论文列出的 Hugging Face 与 GitHub 地址目前一个返回 401、一个 404，同系列可公开访问的仍只有 Genesis I 与 Genesis II，引用前请核实。

相关链接

梯度归因选的是答案格式，不是任务语义

事件概述

KAIST 团队用「任务与答案格式正交」的实验设计，回答了梯度相似度到底在度量什么：答案是格式，不是语义。

技术细节

作者把 5 个英文问答基准在 7 种答案格式（字母选项、短答案、长生成、JSON 等，归为 3 个结构类）下重新渲染，构造出「共享格式、任务不同」与「任务相同、格式不同」两类配对，再计算数据集间的去衰减余弦。共享答案格式的配对对齐到 0.4 附近；同一个基准换成不同格式类后掉到 0.0 附近；既不同任务也不同格式的 280 对均值为 -0.001、标准差 0.008，故 ±0.02 以内读作零。这个序关系在 OLMo 从 1B 到 4T token 的十个预训练检查点、Pythia 的十个检查点，以及 base、SFT、DPO、Instruct 四个阶段都成立，Llama 3.1 与 Qwen3 的 base 与 instruct 版本同样成立。对 LESS 已发布选择结果的分析更直接：池子里不含三个目标基准的任何数据，目标格式却被大幅过采样——MMLU 的字母选项被选中的比例是其在池中占比的 3.7 倍，BBH 的思维链 2.4 倍，TydiQA 的短答案 1.9 倍，三个 seed 结果稳定；目标结构类之外的格式被抽干，MMLU 的长生成只剩 0.2 倍、JSON 只剩 0.04 倍。

对大模型数据工作的影响

这条直接冲击「用梯度归因挑 SFT 数据」这一常见做法的可解释性：选出来的样本之所以有效，相当一部分可能只是格式对上了，而不是能力对上了。作者也给了一个可操作的检验——在格式受控的基线上重测归因方法，或者先统一池内答案格式再看选择是否转向内容驱动。附带的好处是提醒数据团队：答案格式本身就是混杂变量，做配比实验时要把格式与任务分开控制。

相关链接

用归因过滤「潜意识学习」，结论是不太可靠

事件概述

Fraunhofer HHI、IIIT Hyderabad、柏林工业大学与 EleutherAI 的联合工作（NeurIPS 2026 Attributing Model Behavior at Scale workshop）测试了梯度归因能否替代语义审查，过滤掉那些语义无关却能传递行为特质的数据。

技术细节

三种归因方法（GradCos、对比版 GradCos、EK-FAC）跑在 Llama-3.2-1B-Instruct、Qwen2.5-3B-Instruct、Olmo-3-7B-Instruct 上，基线是 divergence tokens（需要反事实教师模型，此前被证明能定位这类效应）。token 级过滤下 EK-FAC 削掉了显著一部分效应，另两种方法收益很小，三者整体都不如 divergence tokens；整样本过滤对所有方法效果更差。以 Qwen2.5-3B-Instruct 的 dog 目标为例，保留高归因样本中的 30% 就足以复现全量微调的效果，低归因一侧则迅速掉到基座模型以下。效果在不同模型与偏好的组合之间不一致，同一套方法在部分组合上有效、在另一些上失效，作者没有找到一致的解释。

对大模型数据工作的影响

与上一条互为印证：归因信号在「按语义挑数据」这件事上并不稳健，把它当安全过滤闸门需要先把可靠性边界测清楚。工程上的可取之处是过滤粒度——token 级明显强于样本级，说明同样的归因预算下，切分粒度比换方法更值得调。divergence tokens 仍是最强基线，但它依赖反事实教师模型，在数据侧不易复现，实际落地时得先评估这个前置成本。

相关链接

中训练扛不住 2% 冲突数据：对齐中训练的压力测试

事件概述

Arcadia Impact 把 alignment midtraining（继续预训练大量对齐相关文档）的几个隐含假设放到规模和剂量上做检验，结论是目前公开证据不足以支撑它解决对齐的核心困难。

技术细节

实验上到 110B 参数模型、10 亿中训练 token，覆盖 GLM-4.5-Air、Gemma-4-12B、Gemma-4-31B、gemma-3-27b，中训练语料为合成文档（Dispatch 与 Python 4 两个场景）。Dispatch 场景下，8192 条模糊 elicitation fine-tuning 样本中，Charter 中训练模型 90% 选遵循 Charter、Coin 中训练模型 92% 选利润最大化；只需把其中 164 条（2%）换成指向对立动机的样本，偏好就整体反转，且这份敏感性在模型尺度、中训练 token 预算、污染比例上都稳定。规则泛化方面，中训练与后训练里都没出现的规则学不牢；把中训练语料中针对 held-out 条款的示例删掉、换成等量定性描述，中训练带来的提升只剩原来的 0.73 倍（GLM）与 0.35 倍（gemma-3-27b）。Python 4 场景里，中训练加 elicitation 微调确实提升了代码正确率，但对 held-out 编程模式没有泛化。

对大模型数据工作的影响

对做中训练配比的人，这是两个具体到可以写进流程的约束：一是中训练语料里「示范」类文档是效果的主要来源，删掉换成定性描述会显著掉点，配比时别只按主题均衡而忽略文档类型；二是后训练侧的污染容忍度极低，2% 的相反动机样本就能抹掉整轮中训练的影响，数据准入与抽样审计的精度要求远高于直觉。作者把结论限定在受测场景内，并未否认中训练在其他语境下的价值。

相关链接