数据工程观察 · Vol.137

数据工程观察 · 2026年10月02日

Pangram 用 800 个模型给 AI 生成网页 token 定价并发布 WildAI、PPT 语法先验解释被大规模复测推翻、指令微调迁移被证明是有向的、Agent Error Dataset 五万条失败轨迹、dattri-LLM 把归因推到 110B

2026年10月2日数据工程预训练数据 AI生成文本 Scaling Laws 合成数据数据配比数据归因后训练数据数据集发布数据过滤指令微调智能体数据

本期五条围着同一个问题转：一份数据到底值多少，以及这个价值能不能在开训之前算出来。Pangram Labs 用 800 个模型给「野生 AI 文本」的 token 定价，发现它的价值会随人类数据预算变号；一篇大规模复测把合成预热数据（pre-pretraining）沿用多年的「语法先验」解释推翻，换成「长程检索」；指令微调配比的迁移被证明是有向的，A 帮 B 与 B 伤 A 可以并存；Agent Error Dataset 把失败的智能体轨迹整理成五万条带证据的训练样本；dattri-LLM 把训练数据归因这件事推到 110B 参数规模。

一、Pangram 给 AI token 定价：价值会变号，还会抬高算力预算

事件概述。Pangram Labs 与马里兰大学团队系统测量了网页里 AI 生成文本对预训练的影响。作者训练 800 个语言模型（19.9M 到 973M 参数），逐个改变加入的 AI token 与人类 token 比例，在人类文本与 AI 文本两类留出集上分别拟合缩放律。随论文发布 WildAI，一个 83B token 的语料，带 AI、主题、格式三类标签，一并放出全部 800 个模型与代码。

技术细节。2026 年 6 月的 Common Crawl，在通过 FineWeb 质量过滤之后，27.5% 的 token 被 Pangram 判定为 AI 生成；两年前这个数字是 10.1%，到 2026 年 8 月升到 31.1%。作者把这类文本称作 wild AI text——来自许多不同模型、写给人类读者看、进入预训练语料时不带任何标签，与实验室里的合成数据、模型坍缩设定不是一回事。

拟合结果分成两种情形。数据饥渴的模型（人类 token 预算低）加入 AI token 后，人类文本 loss 先下降，收益随加入量饱和后翻转成伤害；人类文本预算高的模型，AI token 几乎立刻抬高 loss，同样数量的新鲜人类 token 仍在压低 loss。Chinchilla 把 AI token 与人类 token 同等对待，预测不出这个翻转。新律保留 Chinchilla 骨架，把 AI 文本折算成带饱和的有效 token 量 $D_{\text{eff}} = D_H(1 + \eta \cdot g(r))$ ， $g(r) = R^\star(1 - e^{-r/R^\star})$ ， $R^\star = K t^\rho$ ，其中 $r = D_A/D_H$ 、 $t = D_H/20N$ ，再叠一个惩罚项表示 AI 文本过量带来的伤害；不加入 AI 数据时它退化为 Chinchilla。

用小模型拟合的律，能对大到 3.6 倍的模型预测 AI 文本对人类文本 loss 的影响，在所有 AI 比例上的误差比现有最好的 law 低 41%；在 C4 留出规模上的配对误差为 $0.83 \times 10^{-3}$ ，低于参与比较的全部 law。它的推论带着明确的价格标签：按 2026 年 8 月 31.1% 的 AI 占比直接训练未过滤网页文本，在 20 token/参数下所需算力是只训练人类子集的 1.6 倍，人类预算越大差距越大。评测口径上也埋了一个坑——作者自己 2026 年的评测爬取 AI 占比 22.3%，在这个比例下，混合验证集把伤害藏起来的运行占全部有害运行的 95.5%。

对大模型数据工作的影响。这篇把「AI 污染」从定性焦虑变成了可报价的工程项。三条可以直接抄进流程：目标为人类文本时过滤 AI 文本；宁可重复人类文本，也不要用 AI 网页文本扩充数据集；验证 loss 必须分人类与 AI 两路报，混合验证集在 22.3% 的占比下几乎必然掩盖伤害。反过来看，目标本身就是 AI 文本时 AI token 依然有价值，这提醒做数据配比前先把评测目标定义清楚。83B token 的 WildAI 带 AI、主题、格式标签，可作为过滤器的现成测试床。

二、PPT 大规模复测：省钱是真的，「语法先验」这个解释不成立

事件概述。预预训练（pre-pretraining，PPT）指在正式预训练之前，先用合成的非自然语言序列（例如 k-Shuffle Dyck 这类交错括号语言）做一段热身。此前工作把这个收益归因于「语法先验」，并只在 1B 以下模型、2B token 以内预算、单一网页语料上验证过。六个作者的新研究把它放到 500M 到 7B 四个参数档、四种预训练数据配比、五种 PPT 任务、最高 100B token 的预算下重跑，结论是收益确实还在，解释需要换掉。

技术细节。在 21B token 的标准预算下，PPT 只用 500 步、约 1.05B token。算力账写得很实：16 张 A100 40GB 上，3B 模型的 PPT 阶段耗时 3 小时 32 分（约 56.5 GPU 小时），对应的 21B token 预训练阶段耗时 2 天 23 小时（约 1,136 GPU 小时），PPT 占总墙钟 4.74%，与 5.0% 的理论投影吻合。省 token 的账同样清楚：在 Marin 配比、3B 规模下，加了 PPT 的跑到 63B token 时平均分为 62.3，纯预训练基线跑到 84B 时才是 62.0，省下至少 21B 预训练 token，代价约为预训练算力的 1%。延长到 100B 也不塌：C4 上 14 个预算点里的平均增益全程为正，收在 +1.6（21B 时为 +1.2），Marin 上收在 +1.2；7B 上增益从 3B 的 1.3 收窄到 0.6，在每个预算点仍为正。

被推翻的是机制解释。下游得分与语法可接受度并不随模型规模一致地对齐，BLiMP 增益在 14 个预算点里只有 4 个为正，逐字检索（verbatim retrieval）增益则有 10 个为正。收益最大的是 LAMBADA、ReCoRD、HellaSwag 这三个依赖上文信息的任务。任务消融给出同样的方向：需要「回到序列前面某个具体位置取回 token」的 PPT 任务（k-Shuffle Dyck、NCA）收益相当，只要求「跟踪已见过 token」的 Set 任务反而掉点。配比消融补上最后一块：把数学占比从 1.3% 拉到 17.0%（13 倍）、网页占比从 92.6% 降到 76.9%，PPT 增益从 1.9 变成 2.0，几乎不动；把网页文本整个去掉、留下 82% 源码加 18% 数学，增益塌到 0.2。

对大模型数据工作的影响。合成预热数据的预算可以照旧批——约 5% 的墙钟换约 21B token，在 7B 与 100B 上都不亏。该改的是选题标准：别再照着自然语言的层级结构去设计合成任务，改成直接构造「长程取回」信号。另一个可迁移的做法是配比实验的设计——论文用 13 倍数学增量证明了「代码与数学已经提供了结构信号、PPT 会变冗余」这个直觉不成立，真正的前提是网页文本在场，这类反直觉结论只有靠配比消融才拿得到。

三、指令微调配比的迁移是有向的：A 帮 B，B 可以伤 A

事件概述。领域适配时常见两条启发式：一是多加源任务总不会更差（假定迁移不为负），二是挑与目标任务相似的源任务（假定迁移对称）。两位作者用数百次微调运行证明两条都不成立——任务 A 能帮任务 B，B 却伤 A，有用性是「有序源-目标对」上的带符号量。他们提出 transfer map，对每个源任务给每个留出目标任务估一个带正负号的帮助量。

技术细节。图的拟合跑在 Qwen3 与 Mistral 两个家族、0.6B 到 32B 五个规模上，所有源任务取自同一个语料，目标任务的训练样本一条都不用。非对称性有量化支撑：在 28 个任务对的 56 个非对角元上，Qwen3-32B 的 $r(B, B^\top)$ 为 +0.304（区间 [+0.177, +0.409]），Mistral-24B 为 +0.290，14/28 个对的差值区间排除零，7/28 个对两个方向各自区间都排除零、且符号相反。

作为选择器，图在训练之前就能定配比：8 格与 12 格两组测试里，事先记录下来的预测误差不到「无视配比」基线的一半；在各个配比规模上都胜过按相似度挑源任务，在神经科学语料的多跳与评论两类目标上高 3 到 16 个百分点，理由直白——相似度不度量一个源的实际作用。实际选出来的配比效果同样具体：均匀配比（其余任务类型等分）在多跳问答上只把 20% 推到 22%、在评论上把 7% 推到 8%；图选出的配比丢掉那个干扰类型与另外两类，评论准确率翻倍到 16%，多跳升到 34%，相对「训练所有源任务」最高 +14 个百分点。

跨模型的可迁移性是这篇最实用的部分。两个模型家族各拟合的图相关 r = 0.88，五个规模（跨 53 倍参数）两两相关 r = 0.76 到 0.92；用 32B 的图提前选定的配比，在更小规模的 12 个格子里赢了 11 个。换到训练池小得多的第二个语料，相关性掉到 r < 0.55。探针成本也给了：Qwen3-32B 上跑 94 个不同配比约 85 GPU 小时，24 个配比的探针约 22 GPU 小时，小模型上 11 到 16 GPU 小时；60 次随机抽 24 个探针运行的出折增益标准差 0.33 个百分点，8 个运行时是 1.76 个百分点。论文还自曝了语料卫生问题：MATCH 是 852 条评测项上重复同一个模板，属于天花板伪影；DEF 的验证题里有 11.4% 逐字出现在训练集中。

对大模型数据工作的影响。配比搜索的记账方式可以改一改：先在小模型上花 22 个 GPU 小时跑 24 个配比的探针，把图拟合出来，再直接搬到目标规模上选配比，比在目标规模上逐个试配比便宜一个量级。前提是语料池够大、目标与源取自同一语料——换语料后相关性掉到 0.55 以下，图得重拟合。需要提醒的是，论文给出的仓库地址 https://github.com/Vahidrostami/directed-transfer 目前返回 404，代码尚未随论文上线。

相关链接：https://arxiv.org/abs/2609.39702

四、Agent Error Dataset：五万条失败轨迹，带诊断与回放证据

事件概述。一次失败的智能体 rollout 里藏着比最终奖励多得多的信息：智能体看到的观测、它选的动作、环境的回应。要把这些经验变成训练数据，得先定位「该改哪个决策」，再拿一个具体的替代动作去验证。六个作者发布 Agent Error Dataset（AED），包含 50,228 条「错误-诊断」对，来自 33 个环境、19 类 harness 家族、23 个策略模型下的 9,961 个源任务，文本型智能体系统。

技术细节。五阶段 Agentic Error-to-Training（AET）流水线的顺序是：收集自然失败（不注入人为故障）→ 生成诊断与建议修正 → 拿记录下来的证据核验 → 在支持重放的环境里用同一检查点、同一执行设置下的「原动作重试」做对照 → 分别构造诊断视角与执行者修复视角的训练视图。原始轨迹与执行元数据全部保留，跨设置的失败分析与重新诊断不必重跑原来的 rollout。

三条结果各有对照。3,062 对匹配重放样本上，首条修正建议把验证器通过率从 18.4% 提到 51.1%，+32.7 个百分点。诊断侧用一份单独冻结的诊断发布版做全诊断微调：在 1,656 个源任务上训练，Qwen3-8B 与内部教师标签的「精确步骤一致率」在 943 条留出集上从 47.2% 提到 63.6%（三个种子平均），同组最强的提示式参照只有 54.7%，且在四个递增训练集规模上单调上升。执行者侧是单种子比较：只训动作修复的版本在 WebShop-lite 上比只训成功轨迹的版本高 6.67 个百分点。

对大模型数据工作的影响。这份数据集的价值在于把「失败样本怎么用」拆成了两条互不混淆的通路：诊断与修复各自成视角，评测也各自有对照——修正建议对照的是原动作重试，诊断微调对照的是提示式基线。做智能体后训练数据时可以照这个结构组织：失败轨迹留痕，修正建议必须过一遍与记录证据的核验，重放对照组与训练视图分开冻结。需要说明，论文写明代码与数据将在 agenterrordata.apodex.com 发布，本次核查该域名尚不可访问，数据集目前只能从论文获取。

相关链接：https://arxiv.org/abs/2609.40111

五、dattri-LLM：把训练数据归因推到 110B 参数

事件概述。训练数据归因（TDA）估计单条训练样本对模型输出的贡献，落地到 LLM 规模时卡在效率、兼容性、可扩展性三处。五个作者发布 dattri-LLM，围绕统一的梯度接口重建了这套工具链。

技术细节。效率侧，它对受支持层提供 factorized 与 materialized 两种逐样本梯度的精确表示，再由一个感知 FLOP 的代价模型按层、按操作挑路线，不往归因计算里引入额外近似。两条路线的取舍有闭式判据：短序列配宽层走 factorized，长序列或大批比较走 materialized；存储上 factorized 更小的条件为 $T < N_i N_o/(N_i + N_o)$ 。在评测的方法与投影组合上，它相对「每个配置下最快的 competing 库」平均加速 3.2 倍。

兼容性侧的做法是侵入最小：用 autograd hook 在已有训练循环的反向传播里捕获逐样本梯度，把训练调用包进一个上下文管理器即可，训练循环、优化器、trainer 都不用改；论文演示了对 HuggingFace Trainer、TRL、OLMo 的接入，并在 DDP 与 FSDP 下做了捕获评测。捕获到的梯度在满足梯度与检查点要求时可缓存、跨查询与跨归因方法复用。扩展性侧暴露 Attributor 接口，统一梯度流之上实现了梯度相似度、基于曲率的影响力、基于轨迹的方法，也支持在线数据选择这类在训练中直接作用于梯度的应用。硬件上限写在实验配置里：每次运行四张 H200（单卡 141GB），32B 规模对 1 条查询打分 512 条训练序列，72B 与 110B 对 4 条查询打分；归因范围包含注意力与 MLP 线性层，排除嵌入与语言模型头。

对大模型数据工作的影响。归因一直卡在「想法好用、跑不起来」。这篇把两个门槛具体化了：在四张 H200 上把多种归因方法推到 110B，且不需要改训练代码——这对已经跑着 DDP/FSDP 的预训练与后训练流水线意味着归因可以从离线分析挪到在线环节。梯度缓存跨方法复用这一点尤其值钱：同一份捕获成本可以摊到多个归因查询上，做数据选择实验时不再每个方法重跑一遍。论文未在正文给出公开仓库地址，代码获取方式需等作者后续公布。

相关链接：https://arxiv.org/abs/2609.38767