数据工程观察 · 2026年10月13日

arXiv cs.LG / cs.CL / cs.AI 在 10 月 12 日放出新一批条目，三源去重后 438 条。挑出的五条落在同一个问题上：同一批 token 进模型之前，有五处分配已经先定下了它的价值——抓取预算给哪些主机、过滤用哪个信号代替质量、语料按什么顺序排、稀缺类别分到多少容量、合成题的难度定在哪一档。其中四条给出了可复核的定量口径，一条直接算出主流开源数学语料里约 88% 的题目对 RLVR 不构成学习信号。

一、Host-Aware Crawling：抓取预算按主机分，比按页面分划算

事件概述

Common Crawl 基金会自己复盘了抓取策略。论文把文档级质量分类器打分、网络图中心性指标、以及 Common Crawl 的每主机抓取覆盖率放在一起，问的是有限抓取预算该给哪些主机、每个主机挖多深。已被 WaC-13 @ EMNLP 2026 接收。

技术细节

作者用 ICC1（组内相关系数）衡量质量分的变异有多少发生在主机之间。在 27,950 个主机、104,098 篇文档的样本上，12 个分类器的 ICC1 落在 0.459 到 0.650 之间，Nemotron Quality 最高 0.650、GneissWeb Quality 最低 0.459，整体接近二分之一。这个性质让小样本可以代表主机：k=3 页样本与主机剩余页面的秩相关 ρ=0.53，k=5 是 0.57，到 k≈15–20 后走平，每多加一页的收益持续衰减。

由此提出的 sample-then-deepen 策略是：先按主机各采样并分类几页，再把抓取深度花在样本分高的主机上。小预算下它每抓取一页拿到的高质量页数是均匀广度策略的 7.8 倍，预算放大后降到 1.7 倍，并逼近 oracle 上限。对照之下，按 harmonic centrality（Common Crawl 现在用的指标）分配深度，与均匀广度几乎画不出差别；用中心性挑选主机的收益也有限，在 DCLM 分类器上甚至不如随机排序。

回到已部署的抓取上：CC-MAIN-2024-10 的 5,654,186 个主机里，抓取覆盖率与质量密度的相关是 −0.08，2021–2024 六个快照的 Spearman 全在 −0.057 到 −0.151 之间。按「未抓页面与同主机已抓页面质量密度相同」外推，单次抓取留下约 5800 万条已知但未抓的高质量 URL。从顶层域看，.uk 以 6.1% 的主机数占到 23% 的错失预算，中位覆盖率 34%。

对大模型数据工作的影响

这条把质量分类器从「爬完之后筛」前移到了「爬之前决定爬不爬」。主机级三页采样还有个工程好处：分类器不在爬虫热路径上，不像 Craw4LLM 那样要对每一页打分。作者自曝了两条边界——高质量密度是 GneissWeb 单个过滤器的代理，继承了它的偏好（用 Nemotron、FineWeb-Edu 复现 RQ4 只做了交叉验证，没有 ground truth）；论文只测了抓取 yield 与覆盖率，没有训模型验证下游，把预算集中到高分主机也会压低那些被分类器打低分的语种、地区和内容类型的代表性。

相关链接：https://arxiv.org/abs/2610.13321 、https://arxiv.org/html/2610.13321v1

二、芬兰语语音 SSL：过滤信号换成「好不好」，顺手替掉语种过滤

事件概述

Aalto 大学用芬兰国家音像研究所（KAVI）的广播档案 RTVA 做芬兰语语音自监督预训练，原始规模 210 万小时，最终留下 47.1 万小时。论文已被 SLT 2026 接收。

技术细节

流水线是三段。VAD（pyannote.audio）先把 210 万小时切到 120 万小时语音段，最长 30 秒一段；接着用转录去重——对 ASR 转录相同的段只保留一条，用来清掉台标、广告和重播，作者发现有些短语在不同频道和年份里重复上万次，这一步把数据降到 89 万小时；最后用 ASR 置信度当质量代理，C_char 定义为预测字符序列在非 blank 帧上的平均对数概率，保留 C_char ≥ τ 的样本。

阈值 τ 在 {−0.3, −0.25, −0.2, −0.15, −0.1} 上扫过。τ=−0.2 在约 72% 的留存率下，四个基准里的三个都低于 LID-only 过滤；−0.15 到 −0.1 区间基本走平，τ=−0.1 在 FP 上最低，被选为最终阈值，对应 47.1 万小时、占去重后数据的 53%。相对 LID 过滤，置信度过滤带来 3–7% 的相对 WER 改善。附带结果是最终集合经 LID 检测约 99% 是芬兰语（档案里英语是第二大语种，约 8 万小时），显式语种过滤这步被省掉了。

架构侧在 95M / 317M / 965M 三档等参数预算下对比了 Transformer、Macaron-Net、Conformer、E-Branchformer。Base 档卷积增强编码器最多拿到 37% 相对 WERR，Common Voice 上的增益在 31.0–36.7%；到 X-Large 档，Transformer 拿到最好的 KAVI 结果 19.54% 且在全部基准上最一致，卷积增强编码器反而出现分域退化（E-Branchformer 在 LP 上、Conformer 在 KAVI 上）。

对大模型数据工作的影响

给「无标注语音能不能直接拿来预训练」提供了一条不依赖语种识别的过滤链：ASR 置信度既筛低质量语音，也顺带清掉外语内容。广播档案受版权和广播许可限制不能分发，团队只放出了模型权重。

相关链接：https://arxiv.org/abs/2610.13102 、https://arxiv.org/html/2610.13102v1

三、Specialists Learn Faster：语料的时间顺序也是一种配比

事件概述

罗切斯特大学的工作把「预训练数据的排列顺序」当成可设计的变量，问的是它如何影响后续知识更新的成本。结论是：按时间顺序训出来的模型（作者称 specialist）专注最近见到的知识，打乱顺序训出来的（generalist）在所有时段都还行，但 specialist 学新知识所需步数只有 generalist 的一半左右。

技术细节

作者从第一性原理推了一条步数律，把更新成本拆成两项：预训练模型对新知识的初始差距，以及模型缩小的速度。常数 A 拟合为 1.27（分模型拟合落在 1.19–1.67）。梯度分析显示 specialist 的优势主要来自更大的初始梯度模长。

在 110M 档四组独立训练的 C/S 配对上，时间顺序在 overwrite 更新上省 46–53% 步数、inject 上省 63–70%。换优化器后规律仍在：Adam 省 49% / 41%，Lion 省 53% / 44%，SGD 省 89% / 85%；换学习率（1e-6 到 3e-5）、换 LoRA 秩、换全参数微调都保持。

接上已有知识编辑工具也成立。在 Mix-C 上跑 ROME、MEMIT、AlphaEdit、ENCORE，相对打乱版本 Mix-S，MEMIT 的更新成本最多再降 46%，AlphaEdit 的遗忘最多再降 63%。对真实预训练模型的改造实验里，C-C（历史部分打乱、近期部分按时间序）把无日期查询准确率从 25% 抬到 93%、带日期准确率维持 98%，同一批记录打乱的 C-S 只到 22%，单/批/序列三种更新的步数分别省到 1.6 倍、2.1 倍、1.3 倍，遗忘少 10–15%。换成软件版本号这种非时间序也复现：无版本提示时，最新版本查询准确率 Mix-C 是 0.98，Mix-S 是 0.26。

对大模型数据工作的影响

语料的时间组织不再只是去重与时效问题，而是把模型训成「易更新形状」的手段。代价是 specialist 在历史时段上退化，需要显式划出稳定知识分区来回放。

相关链接：https://arxiv.org/abs/2610.13835 、https://arxiv.org/html/2610.13835v1

四、COAX：稀缺类别的容量缺口，可以不靠补数据填

事件概述

MoE 里每个 transformer block 的并行专家理论上能按域、语种或模态分化，但数据不均衡时，少数类别要么挤进极少数专家、要么低效摊开。作者提出按类别给专家路由加偏置（COAX），把少数类的 token 引导到专门的专家池。

技术细节

偏置按输入类别施加，鼓励类别走向不同专家子集，保留跨类别共享，并能给数据稀缺的类别超配专家容量。在模态、低资源语种、代码三类设置上，最大 10.6B-A1.2B 的模型都观察到改善。

论文用「等效额外训练 token」给增益计价：345M-A147M 档相当于多训 18.5%，10.6B-A1.2B 档降到 2.7%，下降原因是大模型继续训练时 loss 降得快得多。吞吐开销降得更快，从 20.2% 降到 2.4%，粗粒度专家分组下进一步到 1.3%。345M 档六个验证集上，等效额外训练量分布在 +8.3% 到 +23.9%（I2T、T2I 两组需要外推）；评测时保留偏置，等效值从 18.5% 抬到 20.8%。

对大模型数据工作的影响

给「低资源语种 / 少数模态数据量不够」提供了一条不依赖采集的补偿路径，且越到大规模，用训练算力换这笔增益越不划算。前提是推理期能拿到类别标签，保留偏置与否要单独决策。

相关链接：https://arxiv.org/abs/2610.13370 、https://arxiv.org/html/2610.13370v1

五、MagicBeanStalk：合成题的难度要对着目标策略校准

事件概述

RLVR 的数据中心扩展一直聚焦在收集或生成可验证题目，这篇指出语料规模本身并不决定学习信号：同一个开源数学语料里绝大多数题目落在「零优势陷阱」——对固定的目标策略和 rollout 预算，要么每次采样都解出，要么每次都解不出，组相对优势为零。

技术细节

作者混合 DAPO-Math-17K、Skywork-OR1-RL-Data、Turing Open-RL 与 StackMathQA 子集，约 78,000 题，用 gpt-oss-120b 每题采样 8 次、32K 预算。只有 12.2% 落在 Goldilocks 区间，6.3% 一次都没解出，约 88% 落在零优势陷阱。

难度是 (题目, 策略, 预算) 三元组的属性，不是题目自带的。只换策略：15,470 道 GPT-5-nano 未全解出的题，换 gpt-oss-120b 后有 32.3% 在零成功 / Goldilocks / 全对之间换了区。只换预算：gpt-oss-120b 的 rollout 从 16K 放到 64K，难题占比从 33.1% 降到 10.6%，8 个数学基准平均准确率从 61.2% 升到 78.9%。

MagicBeanStalk 走自上而下分解加自下而上递归：先分解难题拿到推理蓝图，再递归组合出难度校准的新题。消融显示教师池从单教师 63.0% 的种子覆盖提到等调用池 71.5%；有效性测试把 22 条教师验证通过的分解砍到 6 条（另 16 条的解法不改善父题求解）；显式要求更难的叶子变体，合格种子从 1/10 提到 3/10；递归深度 D≤3 相对 D=1 多出 188 个根、116 个种子。

结果上，持续 RLVR 把 gpt-oss-120b 的 8 基准平均从 61.2 提到 69.8（+8.6），全量混合源 62.3、Golden Goose 63.1、in-budget Goldilocks 子集 67.0、种子合成 66.8。换目标策略不重新生成也不重新筛选，DeepSeek v4 Flash 从 72.4 提到 77.9（+5.4）。三个前沿裁判判定数学题：至少一人判对 89.3%、多数判对 80.0%、三人全否 8.0%。把推理预算放宽到 24K / 32K，源种子训练跌到基线以下、种子合成收敛到基线，MBS 仍高出 1.0 和 1.5 点。

对大模型数据工作的影响

合成数据的难度校准必须绑定目标策略与训练 rollout 预算，只按题目静态难度标注会漏掉大量信号。作者明确说直接让教师改写难题达不到校准，得走「分解—验证—递归构造」；纯过滤只能选、不能造，还会把策略从没解出过的难题整批丢掉，而这些难题恰恰标出了能力边界。

相关链接：https://arxiv.org/abs/2610.12659 、https://arxiv.org/html/2610.12659v1