数据工程观察 · Vol.149

数据工程观察 · 2026年10月16日

本期五条动态覆盖数据工作的五个口径：CRDS 按算力响应性挑后训练样本、SWE-Stream 把 20 万个 PR 做成 8 万个可执行任务、图像自蒸馏里重复曝光不是纯折价、ELARSpeech 补上 675 种弱势语言语音、WhoseBench 审计评测资源代表谁。

2026年10月16日数据工程数据选择预训练数据 Scaling Laws 数据合成数据质量多模态数据语音数据伪标签评测基准开源数据集数据管道

arXiv cs.LG / cs.CL / cs.AI 在 10 月 15 日放出新一批条目，三源去重后最新批次 564 条。Hugging Face Papers 当日 87 条以智能体与世界模型为主，Hugging Face Datasets 的周榜没有新发布的训练语料，量子位与 The New Stack 当日无数据工程相关条目，这四条来源本轮跳过。

本期五条动态分布在数据工作的五个口径上：选、造、用、补、审。选的口径换成了「多给一点推理算力能不能救回来」，造的口径落在流水线吞吐而不是样本总数，用的口径把重复曝光重新算回数据预算，补的口径是 675 种语言的长尾语音，审的口径回到「这份集合到底代表谁」。五条指向同一件事：数据账本上的每一个数字，取决于量它的那把尺子。

一、选数据：CRDS 用「加算力能不能救回来」替代「对不对」

事件概述：推理模型的后训练数据在多数工作里按正确率或难度筛，一篇新工作把筛选标准换成了算力响应性。作者定义了一类 compute-responsive（CR）样本：低预算下全错，追加推理之后能解出来。基于这个定义提出 Compute-Responsive Data Selection（CRDS），只留下那些被经验证明「多算一点有用」的题做 SFT。

技术细节：构建过程在 Qwen3-8B 上完成。先按 2,048 token 的低预算跑第一遍，失败的题再走四轮探针复算，其中包含一轮基于审计的修订。12,831 条候选题里检出 1,065 条 CR，CR 率 8.3%。分数据源看差异不小：AIME 4.4%、OlympiadBench 5.2%、OpenThoughts 7.2%、OpenThoughts3 7.1%、DeepScaleR 9.0%、NuminaMath-CoT 9.3%。AIME 和 OlympiadBench 难度高，CR 率反而低，原因是初次失败的题大多追加算力也解不出；NuminaMath-CoT 里靠近可恢复边界的题占比更高。最终按题去重后冻结 1,065 条，切分为 853 训练 / 106 验证 / 106 测试。

关键结果是 CR 集合跨模型并不通用。Llama-3.1-8B-Instruct 从同一批候选池重建自己的 CR 集，10,764 条里检出 992 条，CR 率 9.2%，与 Qwen3-8B 的 CR 集只重叠 109 条，占 Llama CR 集的 11.0%。这说明 CR 身份是模型相关的属性，不是题目本身的固有属性。

训练侧，Qwen3-8B 上留出低算力失败题的恢复率是 SFT-CR 45.3%、SFT-AlreadySolved 40.6%、随机 31.1%；在独立采样的混合泛化测试集上 SFT-CR 拿到 51.8%。把评测预算从 512 拉到 4,096 token，SFT-CR 依次为 17.0%、28.3%、47.2%、48.1%，各档比最强非 CR 基线高 7.6、3.8、12.6、10.4 个百分点；基座模型在确定性评测下四档全是 0.0%。Llama 上重复同一模式，CR 27.6%、随机 24.1%、已解题 17.2%。审计探针有独立贡献：288 条 CR 样本只能靠审计式修订检出，占 CR 集 27.0%，盲重算找不到；四探针协议平均每条 CR 样本花 3.83 次额外生成。

面向部署的折中实验里，50% CR + 50% 已解题的混合把已解层精度抬到 87.4%（纯 CR 86.3%），CR 层从 47.2% 落到 43.4%，仍远高于纯已解题训练的 30.2%。

对大模型数据工作的影响：筛选标签从静态正确率换成算力边际收益，代价是筛选本身要额外烧推理算力，论文给出的是召回导向的上界成本（3.83 次额外生成），不是典型开销。真正值得记的是两点：CR 率只有 8%–9%，意味着筛选动作集中在十分之一的数据上；CR 集跨模型只重叠一成，把一套 CR 标签搬给另一个基座模型复用行不通，每个模型得各自重建。

二、造数据：SWE-Stream 把 20 万个 PR 变成 8 万个可执行任务

事件概述：软件工程智能体的训练卡在可执行任务供给上。开发历史里信号充足，环境缺失、测试缺失、产物不一致让直接利用变得困难。SWE-Stream 用「渐进式构建 + 弹性流式执行」把 6 种语言、10,728 个仓库的开发记录转成 80,874 个通过验证的任务与 118,688 条成功轨迹。

技术细节：漏斗是 203,905 个初始 PR 候选 → 117,663 个通过筛选 → 80,874 个接受任务，每个仓库上限 20 个任务以换取覆盖广度，优先选有链接 issue 和开发者自写测试的合并 PR。五个构建阶段的最终成功率分别是：环境重建 92.89%、测试套件准备 85.99%、独立执行验证 89.67%、问题描述补全 98.85%、一致性与泄漏审查 97.08%。按来源分，57,943 个任务的描述和保留的验证测试全部来自开发记录，22,931 个任务的某一环节由模型生成。两组的补丁规模接近，改动产品文件中位数都是 3 个，改动行中位数 49 与 52；F2P 测试中位数 2 与 5，P2P 中位数 20 与 23。

轨迹采集用 DeepSeek-V4-Flash-0731 配 mini-swe-agent 当教师，学生是 Qwen3-30B-A3B-Thinking-2507，每题最多三次尝试，只保留补丁通过验证的轨迹。微调结果：SWE-bench Verified 69.0%、Multilingual 49.3%、Pro 45.42%。在约 1.6 亿 token 的对照设置下，SWE-Stream 拿到 45.6%，比 Scale-SWE 高 2.0 个点、比 R2E-Gym 高 2.6 个点、比 SWE-smith 高 2.8 个点，而它只用了 3,616 条轨迹，其他三个源用了 4,224 到 5,923 条。

构建效率是这篇的另一半。1,000 个候选、32 槽位的对照里，Batch、固定流、SWE-Stream 分别接受 588、592、670 个任务；达到 500 个接受任务耗时 41.10、28.00、23.06 小时，吞吐为每小时 13.89、17.84、20.15 个。流式相对批式提速 1.45 倍，相对固定流多接受 13.2% 的任务。

论文在局限里写明：接受的任务不做规模化人工复核，质量控制靠自动执行检查加模型做的一致性与泄漏审查，生成的测试漏掉边界情况的风险没有被排除。

对大模型数据工作的影响：可执行数据的规模之外，构建系统的吞吐和验收率是独立变量，同等墙钟时间下多产 13.2% 的合格任务直接改变了语料上限。「每仓库上限 20」这类配额看着是工程细节，实际决定了数据集中有多少家仓库的声音，配比文档里应该和 token 数并列记录。

三、用数据：重复曝光在图像自蒸馏里不是单纯折价

事件概述：主流 scaling law 的表述隐含一个前提：唯一样本越多越好，重复看同样的样本收益递减。一篇针对图像自蒸馏的系统实验给出了反例——在固定算力下，反复训练一个更小的随机子集能超过训练更大的唯一样本集。

技术细节：实验覆盖 Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet、YFCC15M 七个数据集，把总呈现次数 C、唯一图片数 U、重复度 R = C / U_seen 三个量拆开单独变化。Maxar 上在 1 亿次呈现处，随机 0.75M 子集的平均 kNN 精度，ViT-S 是 0.9207、ViT-L 是 0.9196，全量数据训练只有 0.8994 和 0.8796。换掉自蒸馏方法仍然成立：DINOv2 + ViT-B 上子集 0.9182 对全量 0.9095，优势一直延续到 3 亿次呈现。换选子集的方法也不影响结论，5,000 万次呈现下随机、层次选择、DASSOT、NIQE 质量选择分别得 0.9202、0.9187、0.9202、0.9216，全量数据 0.9015。

作者进一步削弱增强，去掉颜色抖动、灰度、高斯模糊和 solarization，只保留裁剪、水平翻转、归一化和掩码。1 亿次呈现处精度从 0.9251 掉到 0.8910，但曲线仍从 1,000 万次的 0.8400 一路上涨到 4 亿次的 0.8969，说明有用的重复并不完全由被去掉的那部分增强提供。显著性检验里 187 组配对比较有 124 组在 p<0.05 下显著。

建模上提出 density-interaction 律，形如 Perf = L − A/C^α − D·[log(1+U)]^β·[log(1+R)]^γ，把 U 与 R 写成可交互项而不只是相加。拟合只用 C≤50M 的低算力运行，在 C>50M 上外推：Maxar、SATLAS、Ego4D 三项外推 MAE 最低，Waymo 接近最优基线，nuPlan、ImageNet、YFCC15M 三项反而比基线差。

对大模型数据工作的影响：只看总算力的 Chinchilla 式律分不开「同样 C、不同 (U, R)」的两次训练，这是它在这类场景里的结构性缺口。把唯一量和重复度写成交互项是修正方向，作者在结论里也直说：允许小子集占优能在部分场景下提升预测，不保证外推更好。多 epoch 训练的预算分配因此不能照搬文本侧的结论，得按数据集单独拟合。

四、补数据：ELARSpeech 把 675 种弱势语言语音做成可训练语料

事件概述：多语语音模型的资源集中在头部语言。ELARSpeech 从濒危语言档案库 ELAR 整理出 30,202 小时、覆盖 675 种语言的语料，随数据集一起放出训练好的 ASR 与 TTS 模型和完整构建流水线，许可为 CC BY-NC-SA 4.0。

技术细节：语料分人工标注的 ELARSpeech-L 与无标注的 ELARSpeech-U 两部分，跨 78 个语系，记录条件与领域直接继承了田野录音的多样性。675 种语言里有 259 种既不在公开多语模型的支持范围内、也不在闭源模型的支持范围内，53 种连 ISO 639-3 代码都没有。

ASR 适配上，30 种支点语言的 monolingual 设定里 Whisper 在 18 种上最低，macro CER 22.48；OmniASR-CTC 的 300M 版本拿到 24.50，与 Whisper 的 24.63 相当而参数量小得多，在有 ISO 码的语言上 Whisper 仍以 20.33 领先 24.18。

伪标签扩展在 233 种语言上做，按每条语音预测 token 的平均置信度打分，再用语言内四分位截断控制保留量。加伪标签最多带来 6.1% 的相对 CER 下降，保留全部伪标签不是最优，中等置信度过滤效果更好。单语言看分化明显：Dawoodi（dmk）在 ELAR 测试集上从基线 93.99 降到加标注后的 22.68、再加伪标签 22.72，同一批数据训练出的模型在 CommonVoice 26 上却从 4.47 退到 4.81 再到 5.58。TTS 侧的走向不同：伪标签加得越多 CER 轻微上升，UTMOS 在中间保留量处最高，全量保留反而下降。

表征分析给出了一条反直觉的结果。XEUS 与 ELARSpeech 的语言重叠绝对数最大，却只占它自己语言清单的 8.4%；MMS 重叠比例 23.7%，表现最好。10 分钟单语 ASR 的 CER 在 ML-SUPERB 上跨模型分布在 30.3 到 41.0（相对差 26.1%），在 ELARSpeech 上收窄到 51.9 到 53.8（相对差只有 3.5%）。

局限写得直接：档案元数据本身有不一致和不确定，流水线只能标准化和过滤，无法完全消解；MOS 评测主要依赖非母语听者。

对大模型数据工作的影响：语言数量堆上去不等于长尾迁移变好，预训练规模与覆盖语言数都不是长尾迁移的充分预测量，低资源语言的暴露是否均衡更关键。伪标签量的收益曲线在 ASR 和 TTS 上不同形，TTS 甚至在中间量就到顶，说明「无标注数据越多越好」在数据配比文档里不能写成一条通用规则。域内大涨、域外微退的单语言结果也提醒：长尾语料的收益要分开记两个数字。

五、审数据：WhoseBench 审计 16 份资源「代表谁」

事件概述：评测分数背后是具体的惯例归属。一份新工作提出以用户为中心的审计框架，把贡献内容的用户（source user）和评测结果声称要代表的用户（target user）拆成两类，在内容、元数据、文档、打分四个层面落了七个维度，审了 16 份资源。

技术细节：文本侧 11 份基准里，美式惯例在匹配信号中占比从 MedQA 的 62.4% 到 TruthfulQA 的 94.4%，全部过半，覆盖通用知识、数学、常识推理和专用问答。覆盖率差异极大：WinoGrande 只有 5.97% 的条目含被审计的惯例，TruthfulQA 7.59%，MedQA 65.85%，DROP 78.08%。作者强调覆盖率与美式占比是两个量，前者说惯例有多普遍，后者说普遍的那批里谁占主导，两者要一起报。

图文侧审了 DataComp1B、WIT English、RedCaps、CC12M、COYO-700M 五份。美国在四份里排名第一，占比 13.55%、14.59%、21.18%、16.30%；CC12M 是例外，冰岛以 10.24% 居首、美国 9.99% 次居。前三名国家占 26.8% 到 37.6%，欧洲、北美、大洋洲合计占 60.9% 到 76.5%。国家可见度与世行 GDP 份额强相关，平均 Pearson r = 0.780、Spearman ρ = 0.778，单资源 ρ 从 RedCaps 的 0.735 到 WIT English 的 0.823，GDP 份额的单变量 R² 均值 0.614。换成平衡的法德西日 WIT 样本后，可见度分布会变，经济集中度仍在。

打分实验用保义变体做配对。DROP 的 12 组可评配对上，官方 EM 从 100.0% 掉到 33.3%（−66.7 个点，95% CI [−92.3, −36.4]），F1 从 100.0% 掉到 77.2%（−22.8 个点）；其中六组拼写变体平均损失 45.7 个 F1 点。TruthfulQA 的 33 组变体上，BLEU 正确参考相似度从 97.0 掉到 69.2（−27.7），ROUGE-1 从 100.0 掉到 88.9，但正确／错误参考排序在这个指标下保持不变。

文档审计的结论最整齐：16 份资源全部落地了 source user 上下文，没有一份落地 target user 上下文。

对大模型数据工作的影响：基准是数据集的一种，审计手段可以直接搬到训练语料上：来源用户是谁、声称服务谁、两者之间的缺口有多大，这三件事在语料卡里同样可查。打分侧的结论更可操作——把接受的拼写、日期、时间、度量惯例写进评测规则，并在记分器审计里放入保义等价格式，是把「认得出等价答案」变成可测量指标的具体动作，不需要改动正确性判据本身。