数据工程观察 · Vol.135

数据工程观察 · 2026年09月30日

本期五条：ReScraper 用 0.6B 模型接管 HTML 到文本的整条清洗栈，数据配比改进 scaling law 的充要条件被写出来，CompOrca 给四百多万行指令语料做逐行合规标注，数据归因显示有害样本影响力不均且跨模型不通用，AutoDataBench 按产业验收口径给智能体造的数据打分计价。

2026年9月30日数据工程预训练数据数据清洗数据配比 Scaling Laws 合成数据数据标注数据归因数据质量网络抓取指令微调开源数据集数据验收 AI4AI 数据成本

本期五条落在同一条线上：数据的验收方式正在变严。一条把 HTML 到文本的整条启发式流水线交给一个 0.6B 模型，一条给「数据配比什么时候真能改进 scaling law」写出可判定的条件，一条在四百多万行指令语料上做逐行合规标注并公布原始投票数，一条用数据归因找出哪些有害样本真正在推动失准，一条按产业界的逐条验收口径给智能体造出来的训练任务打分计价。

ReScraper：0.6B 模型接管 HTML 到文本的整条流水线

事件概述

CMU 语言技术研究所放出 ReScraper，一个 0.6B 参数的统一模型，用来替代「规则抓取器 + 数十条规则过滤器」这套长期沿用的预训练语料清洗栈。它把 18,025,558 页原始 HTML 直接变成预训练可用的文本，用它产出的语料训练 400M、1B、3B 三档模型，DCLM Core 分数（22 个下游任务的居中准确率均值）在每一档都超过全部基线。

技术细节

模型从三个教师模型的输出里构造监督数据，学到两个动作：先做主内容抽取 <extract>，再对每页从四个操作里选一个 —— 原样保留、编辑掉噪声行与片段、整页删除，或对「写得差但有信息量」的页面做重写抢救。两阶段训练中第二阶段刻意提高 <rewrite> 的占比，让边界页面被重写而不是被丢掉。

逐操作消融显示四个操作各自都在贡献：去掉 <extract> 掉 16.6%，去掉 <delete> 掉 8.8%，去掉 <rewrite> 掉 7.8%，去掉 <edit> 掉 2.4%。把 <extract> 的输出换成教师模型 Dripper 的抽取结果，Core 也要掉 3.6%，说明抽取与清洗放在同一个模型里做，确实强过串成级联。

三条最硬的对照数字：相对最强规则清洗，Core 提升 4.7%（400M）、7.9%（1B）、5.9%（3B）；相对多智能体数据策管系统 DataOrchestra（1.7B 编排器配 0.6B 与 4B 工具模型），提升 5.1%、6.6%、3.8%。论文还指出规则本身不可靠：在 5,000 页由 gpt-oss-120b 标注的样本上，每条规则丢掉的页面里有 31%–65% 被判定为应当保留。0.6B 学生相对教师的 token F1 是 89.3。

对大模型数据工作的影响

弱到强这条路径被证实了：一个 0.6B 的策管模型可以为 2.8B 的模型准备数据，策管器不必跟着被服务的模型一起变大。真正值得抄走的是它的组织方式——把「抽取」和「清洗」合成一次对整页的推理，而不是串成一条误差逐级累积的流水线。论文也点出一个容易被忽略的代价：在数据受限的 3B 设定下，ReScraper 的语料把每个唯一 token 重复了约 7.5 次，基线只有 4.1 到 5.2 次，质量收益是拿重复率换来的。

数据配比什么时候才真的改进 scaling law

事件概述

ISTA 与耶鲁的这份工作给「混入辅助域数据到底有没有用」这个问题写出了可判定的条件。过去关于数据配比的研究大量停留在经验层面，这篇用高维混合数据回归模型给出了 minimax 风险的显式 scaling law，并指出配比改进 scaling 指数这件事只在一个特定的参数区间里成立。

技术细节

设定是：目标域与辅助域共享同一个回归函数，协方差与噪声水平各自不同，两个数据集的规模可以按不同速率增长。谱按幂律衰减后，令 δ = α₁ − α₂ 表示辅助域谱相对目标域的重尾程度，γ₂ 表示辅助域样本量的相对增长指数，再定义临界指数 γ_c = 1 − δ/(1+2s)。

结论干净：混合 minimax 率优于两个单域率的充要条件是 δ > 1 且 γ₂ ∈ (γ_c, 1)。三种情形各有解释——辅助样本太少（γ₂ ≤ γ_c）时，辅助数据只作用在目标数据已经估好的坐标上，等于白加；辅助尾太轻（δ ≤ 1）时，交叉点之后的估计代价不收敛，方差被最高频坐标主导，等于退化成只用辅助数据；只有辅助尾足够重（δ > 1）时，交叉点之后的全部坐标能以与前面相当的代价被学完，混合才有净收益。

语言模型实验给的是定性印证：81.5M 参数的 GPT-2 架构模型（nanoGPT）在 SlimPajama 上从零训练，目标域取 StackExchange，辅助域取其余六个域的定比混合，目标 token 预算 n ∈ {4, 6, 8, 12, 16, 20} Mi，辅助 token 数 n₂ = 4(n/4Mi)^{γ₂}。γ₂ = 1.25 时混合的 scaling 曲线确实优于任一单域；γ₂ 换成 0.75 或 1.75，这个优势就消失了。

对大模型数据工作的影响

这条结论直接打在配比实验的设计上：配比收益不是「混了就有」，而是取决于辅助域相对目标域的谱形状与两个域 token 预算的相对增长速度。做配比搜索时把辅助域 token 数按固定比例绑死在目标域上（γ₂ = 1），恰好落在定理给出的边界上，属于最容易测不出收益也最容易测出假收益的位置。论文还给出了一个反直觉的注记：在等样本量且 δ > 0 时，辅助域单独的指数严格大于目标域指数，即同样 token 数下分布偏移的数据反而信息量更大——这就是所谓正向分布偏移。

相关链接

论文：https://arxiv.org/abs/2609.38011

CompOrca：四百多万行指令语料的逐行合规标注

事件概述

Brunel University London 的这份工作（已被 AACL-IJCNLP 2026 的 PlurVA-LLM Workshop 接收）把 OpenOrca 全部 4,233,923 行样本做了一遍合规标注。此前同类标注最多只覆盖几千条评测集提示，这是第一次有工作对一个百万级通用指令语料放出逐行标签。

技术细节

每条样本由 LongCat-2.0（1.6T 参数开源模型）做五次独立判定，发布为全票合规（94.75%）、全票不合规（1.28%）与票数不一致（3.97%）三类，并公开每行的原始投票数。单遍判定会标记 2.7%–3.2% 的语料为不合规，只有 1.28% 被五遍全部标记——也就是说单遍标出的不合规里有 52%–60% 拿不到全票。

人工校验用 450 条样本，其中 150 条双标注（人–人 κ = 0.93）：全票合规标签精确率 97.3%，全票不合规 86.7%，后者是高精度子集而不是不合规的完整枚举。作为对照，Zou 等人那套被广泛沿用的十三条拒答前缀子串匹配在这份语料上只有 12.6% 精确率、6.3% 召回；六个已发表的拒答检测方法对不合规类的召回率分布在 0.4% 到 94.1% 之间。

两个对数据工作直接有用的观察：不合规率在 OpenOrca 各子任务集合间分布不均，T0 split（阅读理解类任务）是 2.06%，思维链 split 只有 0.14%；不合规回答平均 216 字符，合规回答 504 字符，而不合规样本的提示平均长 44%。

对大模型数据工作的影响

按这些标签做过滤，改动的不只是「有没有拒答」这一个维度，还一并改变了提示长度、回答长度与任务构成，做消融实验时得把这些一起算进账。更实用的提醒在方法层：子串匹配在这份语料上几乎不可用，而单遍 LLM 判定不稳定，五遍投票加保留票数不一致的行，才是能被下游按自己的置信阈值二次切分的做法。作者也把局限写明了——五次投票提升的是自洽性而不是正确性，同一个模型的偏见会在五遍里共享；在同样 450 行上 LongCat-2.0 多数投票达成 82.4% 一致，DeepSeek-V4-Flash 只有 50.7%。

有害样本的影响力并不均等，且跨模型不通用

事件概述

EleutherAI 的这份工作用训练数据归因（TDA）去量化「哪一条坏建议真正推动了涌现性失准（EM）」。既有 EM 研究把数据分成良性或恶性两类就不再细分，这篇证明这种二分太粗：恶性样本之间差异极大，且不同模型认定的「最有影响力样本」不是同一批。

技术细节

核心实验是在错误的职业建议数据集上做重训练验证。基线模型的失准率约 45%：随机删掉 20% 数据，失准率几乎不动；按 EK-FAC 影响力函数删掉 20% 最有影响力的样本，失准率降到约 40%；删掉 20% 最不具影响力的样本，失准率反而升到接近 55%。换成只训 5% 的恶性数据，选不同的 5% 可以把失准率拉到 60% 或压到 20%。

跨模型实验覆盖 OLMo 3 7B、Qwen 2.5（1B/3B/7B/14B）、Qwen 3（4B/8B/14B）、Llama 3（1B/3B/8B）。所有模型都在同一份数据上失准，删最有影响力 20% 的失准率一律低于删最不具影响力 20%，缺口普遍大于用 WildGuard 有害度分数排序的结果。可影响力分数并不通用：在 automotive 建议数据上跨模型 Spearman 相关只有 0.3–0.6，career 与 education 两份数据上可以出现负相关，而同一模型换随机种子跑两遍的相关是 0.75–0.85。

一个值得记住的对照：在 50% 坏建议 + 50% 好建议的设定下，WildGuard 识别坏建议的 AUC 有 0.9998，EK-FAC 只有 0.9171，但按 EK-FAC 分数过滤对失准率的调控幅度更大。作者还试了错误程度、危害潜力、用户脆弱性、微妙性、模型置信度五维 rubric 做 LLM 裁判，只有「建议的错误程度」和「过度自信」与影响力分数呈中等相关，按 rubric 选数据训练带来的失准率变化幅度不及影响力函数。

对大模型数据工作的影响

这条把安全数据清洗的颗粒度从「类」推进到「条」：同样比例的有害数据，删哪一批的结果可以差 15 个百分点。也给出了一条成本上的现实约束——影响力分数最好由要过滤的那批数据所服务的模型自己算，跨模型搬运会掉一大截。反过来看，黑箱有害度分数虽然 AUC 高得多的分数，却抓不住「哪条样本真的在推动失准」，说明有害度与影响力是两个不同的量。

相关链接

论文：https://arxiv.org/abs/2609.37914

AutoDataBench：按产业验收标准给智能体造的数据打分计价

事件概述

HKUST、SLAI 与 NTU 联合提出 AutoDataBench，测的是一件此前没人测的事：智能体能不能按数据产业的验收标准，一条一条地写出可直接进入训练的可执行智能体任务。现有评测都是「拿智能体造的数据训一轮看涨多少分」，而产业界的实际流程是逐条交付、逐条验收。

技术细节

给定一条原始基准任务与目标模型尝试它的记录，智能体要写一条同套件的新任务，并在有效性、新颖性、难度、行为覆盖四项上通过。评分是三项相乘：落在目标模型 pass rate 区间 [0.125, 0.75] 的比例（In band）、其中通过八类缺陷闸门的比例（Gate passed）、以及存活交付对隐藏 rubric 的覆盖度（Quality）。

在三个可执行智能体任务基准上，45 分钟默认预算下没有一个智能体得分超过 0.20（满分 1.0）：kimi-k3 0.184、gpt-5.6-sol 0.177、qwen3.8-max 0.139、glm-5.3 0.130、deepseek-v4-pro 0.097。瓶颈定位得非常清楚——难度校准，而非行为覆盖。落在 pass rate 区间里的交付只有 14.6% 到 25.0%，75%–85% 的交付在轮到质量评审之前就因难度不合适被弃；而一旦存活，rubric 覆盖度高达 0.700 到 0.967。作者统计了五个智能体共有的十四种行为，其中八种与 pass rate 有关，只有一种与 rubric 覆盖有关。

计价部分给出了单位经济学：一条可用交付的成本在 4.81 美元到 27.69 美元之间，与得分排序不一致——kimi-k3 与 gpt-5.6-sol 分数只差 0.007，成本却差 2.3 倍。墙钟上五个智能体每个 episode 都在 41.2 到 48.4 分钟之间（相差不到 18%），开销却差 11 倍；拿到一条可用交付要 202 到 410 分钟，差距几乎全部来自存活率而非单次会话长度。把预算放大到 180 分钟，kimi-k3 花掉 3.4 倍的钱、换回约 3 倍的可用任务，单价几乎不变：11.88 美元对 12.62 美元，244 分钟对 230 分钟。

对大模型数据工作的影响

结论是「写得出来，但写不快」：当前智能体已经能产出符合质量要求的训练任务，瓶颈在难度校准与单位成本。这条对任何打算用合成任务喂 RL 或 SFT 的团队都直接有用——任务的难度带必须落进目标模型「有时能做对」的区间，而绝大多数生成量浪费在了「永远做不对」和「永远做对」这两端。评分口径本身也值得借走：把验收拆成难度带、缺陷闸门、覆盖度三项分别计分，比只报一个训练后涨幅更容易定位问题。