数据工程观察 · 2026年09月08日

9 月 7 日这批动态都踩在同一个环节上：数据从「有没有」转向「怎么分层、怎么验、怎么省」。OpenBMB 把代码语料拆成 L0 到 L3 四个可追溯状态并公开其中两层，两篇论文分别处理 scaling law 的实验开销和多语言指令数据的翻译失真，另两篇把验证动作放进了数据合成与基准筛选的流程里。

UltraData-Code：代码语料按 L0-L3 分层开源，L2 约 400B token

事件概述

OpenBMB 在 Hugging Face 发布 UltraData-Code，公开 UltraData 平台 L0-L4 分层数据管理框架中的 L2 与 L3 两层，覆盖 11 种编程语言。数据集最后更新于 2026 年 9 月 7 日，采用 Apache-2.0 许可。

技术细节

L0 归档约 1.92 亿个公开 GitHub 仓库默认分支的最新修订，保留代码、目录结构、文件关系与溯源元数据。L1 在此基础上做过滤、清洗、格式归一化和近似去重：按扩展名分区生成 MinHash 签名，用 LSH 召回近似重复候选，相似度边定义连通分量，含多个近重复的分组保留排序最高的 50%，未检出近重复的文件全部保留。L2 用语言自适应选择框架从 L1 中挑出约 400B token 的算法相关代码，该框架结合文件角色监督与语言特定启发式信号，复用预计算的语义嵌入并施加角色与质量约束。L3 把 L2 选中的每个实现转成一道编程题，从同一份源码联合生成题目、分析、解答与候选测试，规模约 150B token。

效果在受控条件下测出：1B 模型持续预训练 10B token，L2 相对 L1 在 EvalPlus 与 MultiPL-E 上分别提升 7.80 和 5.13 分，相对 Stack-Edu 提升 4.37 和 3.05 分；把一半 L2 token 换成 L3，两个基准再涨 8.42 和 8.07 分。训练预算放到 100B token 时，L2-L3 混合相对纯 L2 的差距拉大到 10.11 和 12.39 分。

对大模型数据工作的影响

这套分层把清洗与选择拆成两个可独立替换的阶段，评价指标也从语料规模换成了固定 token 预算下的下游增益。团队若要复现这条路线，代价主要在 L1 的 MinHash 索引与 L2 的角色、质量模型，收益是可以按层配比做消融，不必每次都回到原始仓库重跑。L3 的做法还给出一条合成路径：从已验证的实现反向生成题目与测试，比让模型凭空出题更容易保证可执行性。

相关链接

• 数据集页：https://huggingface.co/datasets/openbmb/UltraData-Code
• UltraData 平台：https://ultradata.openbmb.cn/
• 分层框架论文：https://arxiv.org/pdf/2602.09003
• UltraData 数据集合集：https://huggingface.co/collections/openbmb/ultradata

2609.05016：把 scaling law 的构建成本摊薄 10-100 倍

事件概述

拟合 scaling law 通常要在超参数、token 预算、参数量构成的网格上把每个配置都训一遍。这篇论文指出，拟合实际只用到跨算力规模的最优损失前沿，其余配置训完即弃，于是把数据采集本身建模成一个贝叶斯优化问题。

技术细节

方法由两部分组成。采集过程中逐步扩大算力预算，顺序贴合实践中按算力从低到高评估配置的习惯，回收效率因此提升。随后用代理模型的幻想式评估补全未训练配置的观测值，把稀疏观测还原成更宽的实验网格。两项叠加后，拟合结果能贴近全密集网格上的 scaling law，算力节省最高 10-100 倍。论文一并给出在算力预算受限条件下比较不同拟合方法的指标。

对大模型数据工作的影响

数据配比与 token 预算的决策长期受 scaling law 实验成本约束，许多团队只能靠少数几个点外推。成本降一个数量级之后，配比实验才有条件从跑三档变成扫参。文中给出的比较指标也值得留意：它把拟合方法本身放进了可评测的位置，而不是默认网格法就是金标准。

相关链接

• 论文页：https://arxiv.org/abs/2609.05016

2609.05043：EuroAlpaca 指出直接翻译会破坏指令约束

事件概述

机器翻译是把英文指令数据扩展到多语言的常用规模化手段。EuroAlpaca 量化了它的副作用：直接翻译会扭曲任务关键约束与期望输出，产出被破坏的训练样本。

技术细节

作者提出任务保持型本地化流水线，覆盖 50 种欧洲语言及地区变体，并配套 European-IFEval 这一可验证指令遵循的多语言基准。流水线对每条样本分情况处理：要么做字段级翻译并保留任务关键内容，要么重建一个任务等价的目标语言实例；随后校验跨字段一致性与目标语言一致性。四个 LLM 上的 LoRA 实验显示，直接用翻译数据训练能提升 Aya 评测集的 ROUGE-L 与 F-BERT，却让 European-IFEval 准确率相对未适配基线下降 29.8%；改用 EuroAlpaca 后，准确率相对同一基线提升 12.9%，Aya 上的 ROUGE-L 与 F-BERT 也拿到最高分。

对大模型数据工作的影响

ROUGE-L 上升与指令遵循准确率下降一并出现，说明表层文本质量指标盖不住任务语义的损坏。多语言 SFT 数据的验收口径需要加一层可验证约束检查，例如数值、格式、枚举选项在翻译前后是否保持一致。50 种语言的规模也提示这件事值得做成流水线，而不是逐语种人工过一遍。

相关链接

• 论文页：https://arxiv.org/abs/2609.05043

2609.05395：EDGE 用真实 API 调用结果筛选合成轨迹

事件概述

开源模型在多步工具调用上明显落后，又缺少可度量的基准。论文给出 KOPA-Bench（145 个基于韩国开放公共 API 的真实任务）与数据合成方法 EDGE。

技术细节

EDGE 是一张执行落地的动态图：先按「某工具的输出能否作为另一工具的输入」建图，再拿真实 API 实跑，只保留调用成功的边，最后沿这些已验证的边遍历，合成可执行的多步轨迹。用这份数据做 GRPO 微调后，9B 模型的表现接近同系列未微调的 27B 模型，在 KOPA-Bench 与 BFCL 上都有明显提升。论文已被 EMNLP 2026 Industry Track 接收。

对大模型数据工作的影响

工具调用数据的常见失效模式是轨迹看起来合理、执行即报错。把实跑一遍前移到数据生成阶段，等于用执行器当过滤器，合成链路多了一道天然的质量闸门。代价是每次接口变更都会让已生成的边失效，数据集需要跟着 API 的生命周期维护。

相关链接

• 论文页：https://arxiv.org/abs/2609.05395

2609.04298：Harbor-Index 用难度过滤和审计循环压缩评测集

事件概述

智能体基准数量增长带来的评测开销正变得难以承受。Harbor 项目在适配 80 多个基准之后，从中筛出 82 个任务组成 Harbor-Index。

技术细节

工作分三步。第一步开发基准适配器，把 80 多个基准移植到统一框架以评测任意智能体，并通过代码审查与一致性实验验证。第二步在 54 个基准上跑 8 个模型，每个模型分别用 Terminus-2 和三种原生 harness 之一执行，用于分析能力差异与失败模式。第三步从适配后的套件中筛出 82 个覆盖 29 个基准的任务，筛选手段是难度过滤、AI 与人工审计、以及审计-修复循环。Harbor-Index 保留了大规模评测的难度与广度，成本可控：所有被测的模型-框架组合通过率都不超过 30%，最强的 GPT-5.5 配 Codex 也只有 28.0%。适配器、评测结果和 Harbor-Index 均已开源。

对大模型数据工作的影响

这套筛选流程和训练数据选集是同一种动作：先全量接入，再用难度与质量信号收窄，最后靠审计-修复闭环剔掉错误样本。82 个任务替代 80 多个基准的做法说明，评测集与数据集一样需要主动剪枝，规模本身不构成价值。

相关链接

• 论文页：https://arxiv.org/abs/2609.04298