数据工程观察 · 2026年09月27日

本期 arXiv 最新批次仍停在 Fri, 25 Sep 2026（周末不发新帖），五条动态都从这批里挑出，覆盖网页语料的来源审计、多模态投毒过滤、语料级评测的任务复杂度分层、小参数区 scaling law 的重标定，以及检索增强评测里的曝光核算。共同之处是把数据侧那些被当作默认前提的假设拿出来单独测了一遍。

1. 134 亿条网页问句：谁在问，比问了什么更好判

事件概述

三位作者从 110 个 FineWeb 快照（2013–2025）里抽出 134 亿条问句出现（occurrence），逐条判定来源归属，检验「网页上的问句反映人类意图」这个被 QA 训练数据、检索基准、内容策略共同依赖的假设。论文已被 EMNLP 2026 的 WaC-13 Workshop 接收。

技术细节

来源判定只看宿主串与跨站重复，不看问句措辞，所以形式到来源的检测器不构成循环。genuine-UGC 分类器不是训练出来的模型，而是一个作用于出现频次最高的 100 万个宿主的确定性函数，没有训练数据也没有阈值可调，长尾部分由级联里的 URL 模式兜住。

形式差异是实的，但信号集中在长度：2.2M 标注样本（92k genuine、420k manufactured）里，genuine 平均 12.9 token、manufactured 8.5 token；带上下文脚手架的占比 7.3% 对 3.9%；第一人称 29.7% 对 21.4%。问句类型这一项几乎不带信号，预设假设 H4 未通过。逻辑回归用长度与周围上下文把两类分开，AUC 0.725（类别比 18%/82%），换成 commerce-FAQ 写作风格就掉到 0.554。

频次不等于需求这条更硬。2015、2020、2024 三个快照里，出现次数 top-1000 的问句有 71.7%、86.8%、93.2% 属于跨站重复的模板串，全语料 distinct 问句中这类只占 3–4%；top-1000 里 genuine-UGC 的份额从 2015 年的 6.3% 掉到 2020 与 2024 年的 0.3%；97% 的 distinct 问句只出现一两次，top-1000 加起来占不到全部出现的 3%。

十二年跨度上，genuine 份额下降 79%（控制爬取构成后仍有 42–56%），平均长度从 13.41 token 降到 11.85 token，脚手架占比从 9.95% 降到 6.12%。人工校验环节也印证了判别的难度：三位标注者看 150 条，三条线索全部一致时也只在 60% 的条目上就真实性达成一致，分歧集中在宿主不给信号的那些条目；盲评 LLM（gemini-3.5-flash）只看交叉核对，不参与定标。

对大模型数据工作的影响

这条直接冲击「用问句出现频次近似人类需求」的做法。做网页语料筛选时，宿主级来源是可判的，措辞级真实性判不动；把「问句出现得多」当需求信号，等于把 SEO 与 FAQ 模板按权重灌进训练集。对 QA 数据构建来说，去重与来源白名单的价值高于按频次排序。

相关链接：https://arxiv.org/abs/2609.24106 、https://arxiv.org/html/2609.24106v1

2. TraceGuard：19 种图文投毒攻击下平均召回 98.44%

事件概述

八位作者针对从外部搜集的图文语料投毒，给出一套不需要训练受害者模型、不需要预知攻击方式与投毒率的过滤方法 TraceGuard。全文 42 页，在图文预训练、生成式 VLM 微调、编码器迁移三类场景的 19 种攻击配置上做了评测。

技术细节

分析的起点不是「投毒样本长什么样」，而是「投毒集必须保留什么才能让攻击生效」：攻击模式的出现频次，与携带该模式的样本对模型的联合影响。由此导出六条语料级 pathway 特征——Neighbor Support 在图文两个方向各算一条，其余是 Neighbor Disagreement、文本片段频次、跨模态邻域一致性、文本片段擦除后的变化。特征全部基于固定的预训练表示计算，和受害者模型的梯度无直接关系。

过滤用多个特征排序之间的一致性挑出可疑样本，再按共享模式细化集合，删除阈值按每个语料自适应。19 种攻击上的平均结果是毒样本召回 98.44%、干净样本误删 5.38%；三个基线分别是 CLIPScore 36.54% / 4.55%、VDC 46.90% / 23.04%、Detect-CLIP 7.41% / 3.76%。若干个 CLIPScore 完全失效的攻击（C² Attack 召回 1.08%、Shadowcast 0.00%、MP-Nav 0.00%），TraceGuard 都在 99.5% 以上。

过滤后重新训练，19 个配置中 13 个的残余攻击指标 ≤1%，17 个 ≤10%。成本上，约 10 万条语料的表示抽取加初始打分耗时 13.2–31.8 分钟，后续选择阶段 16.2–22.3 分钟，大语料用 HNSW 近似检索代替穷举。

换编码器是个值得注意的边界：把 CLIP RN50 换成 CLIP ViT-B/16、OpenCLIP ViT-B/32、SigLIP Base 后重算全部六条特征，CorruptEncoder、TrojVLM、VL-Trojan 仍保持全召回零误删，BadCLIP++ 的召回则随编码器大幅摆动。特征定义可复用，分离度不是编码器无关的。

对大模型数据工作的影响

给图文预训练与微调的清洗环节补上了一个不依赖受害者模型的入口——不必先训一遍模型看是否被带偏。真正可迁移的是「攻击必须在语料层面留下可观测痕迹」这个分析框架，六条特征只是它在固定表示下的一次实例化；换编码器、换语料分布都得重算，不能复用上一次的删除决策。

相关链接：https://arxiv.org/abs/2609.29099 、https://arxiv.org/html/2609.29099v1

3. CTC-Bench：按语料规模给任务复杂度分层，架构结论被翻转

事件概述

UC Berkeley、AI2、CMU 的四位作者提出 Corpus Task Complexity（CTC），按「任务难度随语料规模增长的阶数」给语料推理任务分类，并发布 22 个任务的套件 CTC-Bench。

技术细节

low-CTC 指难度随语料线性增长的任务：一次线性扫描就能完成，检索、NQ、HotpotQA（多跳也只是常数次检索）、MS MARCO、OOLONG 聚合、Outlier 都属于这一类。high-CTC 指难度随语料二次或更高增长：找矛盾要检查的声明对数是二次增长的，Textgroups 要找满足求和条件的三元组，跨语料缺失检测、全序重排也属于这一类。作者新引入 10 个 high-CTC 任务，加上 12 个既有任务组成 22 个；检查下来，既有的语料推理任务几乎全部落在 low-CTC。

翻转发生在架构对比上。块稀疏注意力在 low-CTC 任务上与全注意力几乎持平，在 high-CTC 任务上随语料变长迅速拉开差距；混合架构的表现同样如此，只是退化幅度不同。作者另提了 mask-mixing：训练时以概率 p 改用全注意力掩码，p 按课程从 1 退火到 0，推理阶段一律用块稀疏掩码，评测的是纯块稀疏推理能力。

规模上，部分 high-CTC 任务存在能学会的最小模型规模；上下文长度到 32k 时多数 high-CTC 任务已明显退化，实验上限设为 128k。训练侧统一用 olmo-core 做全参微调，1 个 epoch、global batch 8、不做 packing，各对比臂只差注意力掩码；整体算力约 3k A100 小时加 1k H200 小时。

对大模型数据工作的影响

这条把「语料评测数据集」这种数据工程产物按复杂度阶数做了分层。在 low-CTC 基准上调出来的高效注意力与架构结论，不能直接外推到需要跨文档两两比较的场景。矛盾检测、冗余清洗、全局去重恰恰是数据工程里最典型的 high-CTC 活，用检索类基准的分数去证明一套省算力的方案「够用」，会把最难的那部分代价藏起来。

相关链接：https://arxiv.org/abs/2609.29245 、https://arxiv.org/html/2609.29245v1

4. Step Law 在 59M 参数以下失效：学习率被高估约 4 倍

事件概述

六位作者在 N < 59M 参数区间复测 Step Law。原论文只在 59M 到 1B 参数之间做过标定，小模型区从未被经验验证过，而这个区间对单卡训练、可解释性研究、教学实验以及算力受限场景都很关键。实验规模是 29 个 (N, D) 单元、935 次分析可用运行。

技术细节

流水线统一为 nanoGPT / TinyStories，2048-token BPE 词表，AdamW 加 warmup-cosine 调度。每个单元的最优解不是直接取观测最小点，而是从 L(η, B) 损失面出发，在 log-log 坐标下对平滑后的训练损失做局部二次近似提取，降低单点运气的影响。主拟合用工作区间 4 ≤ D/N ≤ 600 内的 25 个单元（815 runs）。

三个预设结论里，H1（原系数直接可用）被拒，H2（幂律形式不变、系数要重标定）成立，H3（幂律不适用）未被接受。重标定结果是 η*(N, D) = 0.0985 · N^(-0.508) · D^(0.238)，R² = 0.834；B*(D) = 3.6 × 10^(-4) · D^(0.931)，R² = 0.950。原 Step Law 的对应指数是 0.713、0.307、0.571。

结构性结论保住了：B* 与模型规模 N 无关被复现（p = 0.87）。变化在于 B* 随数据预算 D 增长的斜率几乎是原文的两倍。最实用的一条是偏差方向——直接套用原文系数会系统性高估最优学习率，中位比值 η_SL / η* ≈ 4.0，范围 2.4 到 6.6。作者给的粗略修正是把 Step Law 预测的学习率除以约 4。

局限也写在明处：全部结果基于单 seed，bootstrap 置信区间反映跨单元变异而非 seed 间的真实区间；学习率的 N 指数处于显著性边缘，是所报告指数中最不稳定的一个。

对大模型数据工作的影响

这条对用小模型做代理实验的团队最直接。数据配比搜索、去重阈值 ablation 大量依赖 100M 以下的代理模型，如果学习率与批量照抄面向大模型的 Step Law，代理实验就跑在系统性错误的超参点上，由此得出的配比结论会被这个偏差污染。小模型区应当用重标定公式，或至少把预测学习率打个四折再验一遍。

相关链接：https://arxiv.org/abs/2609.27581 、https://arxiv.org/html/2609.27581v1

5. Copy Ceiling：grounded 召回 0.92，相对抄一遍的增益全为负

事件概述

单作者论文提出 exposure accounting，给「从精选语料经图检索回答问题」这类评测加一个不需要裁判的确定性基线——copy ceiling，即把上下文原样抄一遍所能达到的召回，用它衡量模型相对这条基线的真实增量。

技术细节

语料侧是 8,138 个 Logseq 页面无损编译成纯 TBox 的 OWL 2 本体，8,146 个类，Whelk 推理闭包 282,492 条三元组。整条请求管线里检索、门控、脚手架序列化都不用模型，只有最终生成调用一次模型（此处为 Qwen3.8-27B）。语义回退通道的 HNSW 默认关闭，原因是其文档嵌入召回 0.816 低于 0.87 的设计门限，作者把这个红门直接写进论文而不是藏起来。

核心数字：十个模型上无辅助召回均值 0.26，grounded 召回 0.92，相对 copy ceiling 的符号增益一律为负，落在 −0.067 到 −0.022 之间。11,360 条 gold-item 观测（1,136 个目标实例 × 10 个模型）中，只有 3 条「上下文未曝光」的条目拿到了字面分。423 条分层审计（对称引文核验策略）估计 97.1% 的得分条目确实断言了所请求的关系，而这 3 条未曝光得分全部未通过关系判定。

在脚手架没有曝光的目标上，字面恢复率从 0.121（无辅助）掉到 0.004（grounded）；92 条无辅助得分中 71 条通过判定，3 条 grounded 得分中 0 条通过。把问题改写到图的标题词表之外，曝光率从 0.964 降到 0.328；506 个问题中只有 2 个触发了缺失回退，说明这条兜底几乎没在工作。

对大模型数据工作的影响

数据工程里大量「用自建语料做 RAG 评测」的流程，都隐含着「答案已经在被检索进来的上下文里」这一前提。grounded 相对 unaided 的巨大提升，其中有很大一部分来自上下文曝光，而不是对检索结构的推理。把 copy ceiling 设为常设对照，能区分「语料真的被用上了」与「语料把答案递到了嘴边」；用自建语料刷出来的 grounded 分数，在补上这条对照之前不宜直接当作语料质量的证据。

相关链接：https://arxiv.org/abs/2609.24885 、https://arxiv.org/html/2609.24885v1