数据工程观察 · 2026年07月17日

本期聚焦中训练数据方法论突破与数据混合理论进展。编码智能体中训练迎来函数感知 FIM 新范式，将程序依赖图分析与填空训练目标结合，2.6B token 语料即可显著提升 SWE-Bench 表现；数据混合从经验配方走向定量科学——域感知缩放定律首次形式化「数据协同效应」，揭示代码-数学互补等跨域能力增益；清华团队 UltraX 预训练数据精炼框架五份语料同时开源；ACL 2026 收录的 SynTrans/SynRank 为多语言预训练数据合成提供翻译注入+质量排序双路径；LLM-jp 发布首个日英双语中训练语料。中训练数据工程正从「补充环节」演变为决定智能体能力天花板的核心阶段。

函数感知 FIM 中训练：编码智能体的数据结构先验

事件概述

TIGER-Lab/滑铁卢大学 Yubo Wang 等（arXiv:2607.12463，7月14日提交）提出 Function-Aware Fill-in-the-Middle（FIM）中训练方法，将编码智能体的「动作-观测-续写」循环结构同构映射为函数调用站点，利用程序依赖图分析选择掩码区域，实现自监督中训练目标。配套开源 FIM-Midtraining-400K 数据集（40万样本 / 2.63B token，来自 968 个 GitHub 仓库）。

技术细节

• 核心洞见：编码智能体的 action→observation→continuation 循环与函数调用站点（caller 绑定参数 → callee 返回值 → downstream 消费）存在结构同构性
• 掩码策略：通过程序依赖图（PDG）分析 +「复杂性-可推断性」双准则选择掩码函数，而非随机掩码代码片段
• 数据规模：2.63B token（input 2.33B + target 0.30B），平均目标长度 42.3 行代码，覆盖 10 个主题类别
• 去污染：与 SWE-Bench 源仓库零重叠，所有仓库限制在 SWE-Bench 最早 base commit 之前
• SWE-Bench-Verified：+2.8（7B）/ +3.0（14B）/ +3.2（8B）；SWE-Bench-Lite：+3.7/+4.0/+5.4
• 关键发现：虽然中训练语料仅含 Python 代码，函数调用归纳偏置在 post-training 后仍存活，甚至在非编码工具使用基准（tau-bench、BFCL）上也表现增益，同时缓解了 agentic post-training 对通用编码能力的侵蚀

对大模型数据工作的影响

这是中训练数据工程从「领域语料堆叠」转向「结构先验注入」的标志性工作。以往中训练数据构建聚焦于领域覆盖度（更多代码/数学/长上下文数据），而 FIM 中训练揭示了数据组织形式本身即是一种归纳偏置——通过程序依赖图选择性地掩码函数调用站点，模型习得的不仅是知识，更是「接收外部信息并续写推理」的结构能力。对数据工程团队的启示：中训练语料的构建应从「覆盖哪些领域」升级为「训练何种结构关系」，这为智能体数据工程提供了可复制的方法论模板。

域感知缩放定律：数据协同效应的形式化

事件概述

MIT 与 Microsoft Research 的 Kimia Hamidieh、Lester Mackey、David Alvarez-Melis（arXiv:2607.11052，7月13日提交）提出 Domain-Aware Scaling Laws，首次在 LLM 预训练缩放定律中引入数据协同效应（Data Synergy）的定量框架，利用开放权重 LLM 的预训练混合比例观测变异估计域间交互效应。

技术细节

• 核心概念：数据协同效应——多域联合贡献超出（正协同）或不及（干扰）各域孤立贡献之和
• 估计框架：
  • 一阶域-基准协同（direct domain-to-benchmark synergy）：一个域对另一个域基准表现的跨域贡献（如代码→数学推理）
  • 二阶域-域协同（domain-domain synergy）：需要多域共现才能激活的能力
• 方法：利用已有开放权重 LLM 的多样化预训练混合比例作为「天然实验」，无需从头训练即可估计协同系数
• 验证：在预测最优混合与预测反最优混合上训练模型，协同估计正确预测了性能排序
• 发现：数学-代码互补性等经典协同模式被稳定恢复，某些域组合产生干扰效应

对大模型数据工作的影响

这项工作将数据混合从「经验炼金术」推向「定量配方」。此前 CausalMix（arXiv:2607.01104）用因果推断解决数据池偏移下的混合优化，而 Domain-Aware Scaling Laws 进一步提供了协同效应的通用量化框架——不再需要为每种混合方案单独训练代理模型，而是从已有 LLM 的预训练配置中直接提取协同信号。对数据工程实践而言，这意味着可以基于「协同图」设计数据配比：正向协同的域优先联合训练，负向干扰的域隔离处理。尚未跨越的门槛是观测性数据自带的分布偏差，以及该定律在万亿参数规模下的外推稳定性。

UltraX 预训练数据精炼框架：五份语料同步开源

事件概述

清华刘知远团队与面壁智能（arXiv:2607.08646，7月9日提交；7月13日开源发布）推出 UltraX 函数调用预训练数据精炼框架，并同时开放五份精炼后英文预训练语料（openbmb/UltraX-Preview on HuggingFace），每份约 20B token。

技术细节

• 核心创新：将预训练数据精炼从端到端 LLM 改写重构为函数调用式编辑框架，补全了删除+修改+插入完整编辑空间
• 管线设计：
  • LAM（Line Alignment Mapping）：行级对齐原始文本与精炼文本
  • DCR（Dynamic Context Replacement）：将字符级编辑转化为可靠的 replace_str 操作，以唯一上下文锚定
  • 低置信度样本过滤 + 按操作组合的比例控制采样，稳定训练分布
  • 滑动窗口推理 + 全局操作聚合 + 系统后处理，确保大规模执行可靠性
• 五份语料：UltraX-FineWeb / UltraX-RedPajama-V2 / UltraX-AICC / UltraX-Ultra-FineWeb / UltraX-FineWeb-ProX-Doc
• 评测：1B 模型在 10 项基准上，UltraX 在全部五份语料上取得最高平均性能，赢得 50 个任务-语料对中的 34 个；FineWeb 上 UltraX 16B token 即超越 Raw/ProX-C 20B token

对大模型数据工作的影响

UltraX 的核心贡献是建立了「程序监督生成管线」范式：不是让 LLM 直接改写文本（不可靠、不可控），而是让 LLM 生成结构化编辑操作（keep_all / remove_all / remove_lines / replace_str / add_line），再确定性执行。这使得大规模数据精炼首次具备了可审计性和可复现性——每一个编辑操作都有明确的程序化表达，而非黑箱式文本生成。与 Volume 75 报道的 UltraX 论文相呼应，此次开源发布将方法论完整落地：数据+代码+模型权重三件套齐全，数据工程团队可直接复用。

SynTrans/SynRank：合成数据驱动多语言预训练质量跃升

事件概述

Zhu 等（ACL 2026 Long Paper，7月发表）提出 SynTrans 与 SynRank 双路径方法论，分别从知识注入和质量筛选两个维度利用合成数据改善多语言 LLM 预训练，并发布 DA-QwenScore 无训练语料质量评估指标。

技术细节

• SynTrans：将高质量知识密集型英文数据翻译为低资源语言注入预训练，弥补知识缺口但以语义流畅性为代价
• SynRank：反转思路——不以合成数据直接训练，而是将合成数据作为正样本训练质量分类器，用分类器从嘈杂的真实语料中筛选高质量子集
• 关键发现：SynRank 在相同过滤率下匹配人类专家手工规则过滤，更高过滤率甚至以更少数据提升表现——超越专家过滤
• DA-QwenScore：无训练语料质量指标，通过模型损失归一化 + 多样性度量评估语料质量，无需训练分类器即可评价
• ACL 2026 正会论文，实验覆盖多语言基准

对大模型数据工作的影响

SynTrans/SynRank 代表了合成数据在多语言预训练中两种根本不同的用法：直接注入 vs 间接筛选。SynRank 的洞见尤其深刻——合成数据最大的价值未必是作为训练语料本身，而是作为质量信号生成器，从海量嘈杂的真实数据中精准提取高质量子集。这与 CausalMix（协同效应）、SPOKES（多样性驱动选择）等工作的核心思想一脉相承：合成数据的最佳角色是数据工程的元工具，而非训练语料的替代品。DA-QwenScore 提供了无需训练的语料质量评估新范式，对大规模预训练数据质量监控具有直接实用价值。

LLM-jp Corpus Midtraining v1：首个日英双语中训练语料

事件概述

日本 LLM-jp 联盟发布 llm-jp-corpus-midtraining-v1，首个系统化的日英双语中训练语料，覆盖编程/通用/数学/推理四大类别共 92.4B token（日语 37.3B + 英语 55.1B），用于训练 LLM-jp-3.1 系列模型。

技术细节

• 规模：115GB 压缩数据，日语 37.3B token + 英语 55.1B token（llm-jp-tokenizer v3 计数）
• 四维结构：
  • 编程：日语 10.8B + 英语 13.3B token
  • 通用：日语 9.7B + 英语 19.4B token
  • 数学：日语 8.2B + 英语 14.1B token
  • 推理：日语 8.6B + 英语 8.3B token
• 数据来源：chatbot-arena-mixtral8x22b-ja、coding-en-jp、dolly-nemotron340b-ja、general-multiturn-calm3-ja、logical-* 系列、open-math-inst-phi3-ja 等十余个数据集
• 许可证：混合许可（Apache-2.0 / CC BY-SA 3.0 / CC BY-SA 4.0 / nvidia-license 等），每数据集独立标注
• 应用：LLM-jp-3.1 系列模型的官方中训练语料

对大模型数据工作的影响

这是继 LLM360 TxT360-MidAS（Volume 46 报道的首个英文中训练数据集）之后，中训练数据工程在非英语语种上的重要里程碑。LLM-jp 采用了与 TxT360-MidAS 类似的四阶段分类结构，但针对日语特性做了适配——推理类别在日语中占比最高（23.1%），反映了日语 LLM 对推理能力的侧重。更值得关注的是其数据来源策略：大量使用 Calm3-22B 等日语模型生成的合成数据（如 logical-multiturn-calm3-ja），验证了「本土模型生成本土中训练数据」的可行性。对中文 LLM 社区的启示：中训练语料的系统化开源仍处于起步阶段，日英双语 v1 的发布为中文中训练语料构建提供了可直接参考的分类体系和开源协议方案。