数据工程观察 · 2026年07月16日

引言

本期聚焦数据工程的前沿方法论突破：从 Thinking Machines Lab 的 45T token 多模态预训练数据策展，到 ACL 2026 上两种截然不同的合成数据生成范式——粒子群优化驱动的评估数据和多智能体协作的函数调用数据——再到时间序列基础模型领域首次系统性对比真实与合成数据，以及人民大学提出的自进化数据准备框架。这些进展共同指向一个趋势：数据工程正从”静态策展”走向”动态优化”。

---

Inkling：45T Token 多模态预训练数据策展新标杆

事件概述

7 月 15 日，前 OpenAI CTO Mira Murati 创立的 Thinking Machines Lab 发布首个开源权重模型 Inkling——975B 参数 MoE 架构（41B 激活），支持 1M 上下文窗口，在 45T token 的文本、图像、音频和视频数据上从零预训练。这是迄今公开披露的最大规模多模态预训练数据量之一。

技术细节

• 数据规模与模态：45T token 覆盖文本、图像（40×40 像素 patch 编码）、音频（dMel 离散频谱图）和视频四种模态，采用 encoder-free 架构统一处理，所有模态在单一 Transformer 中原生融合
• 多模态编码决策：跳过传统 RoPE，改用相对位置编码；注意力机制采用滑动窗口与全局注意力 5:1 交替，针对长上下文场景优化而非简单”塞入窗口”
• 后训练：超过 3000 万次 RL rollout，包含推理、编程、指令遵循、事实性、视觉、音频和安全七大维度
• 开源策略：完整权重开放下载，HuggingFace 可获取，配套 Tinker 平台支持微调；Inkling-Small（12B 激活参数）同步预览
• 数据来源争议：TechCrunch 报道指出预训练阶段部分使用了 Kimi K2 等其他开源模型输出（蒸馏），但预训练本身是从头开始

对大模型数据工作的影响

Inkling 的 45T token 多模态数据策展为行业提供了重要参考：(1) 四模态统一预训练的数据配比和编码方案验证了 encoder-free 路径的可行性；(2) 滑动窗口/全局注意力混合设计暗示了长上下文预训练数据组织的未来方向；(3) 开源权重意味着社区可以分析其数据分布特征，为后续数据策展提供实证参考。但蒸馏争议也提醒：大规模预训练数据的来源合规性审查正成为不可回避的议题。

---

Data Swarms：粒子群优化驱动合成评估数据生成

事件概述

ACL 2026 Findings 收录论文，由 UW 的 Shangbin Feng 等人提出 Data Swarms，首次将合成评估数据生成问题建模为优化问题，用粒子群优化（PSO）在模型参数空间中搜索最优数据生成器。

技术细节

• 核心思想：将评估数据生成从启发式试错升级为可量化优化问题，定义五个评估目标——困难度（difficult）、区分度（separate）、新颖性（novel）、一致性（consistent）、个性化（personalized）
• PSO 数据生成器优化：从种子数据训练初始数据生成器群体，每个迭代中：(1) 各生成器产出评估样本；(2) 在被测模型上评估计算目标指标；(3) 用 PSO 更新生成器权重，向个人最优和群体最优方向移动
• 对抗性扩展（Adversarial Swarms）：数据生成器群与被测模型群对抗共进化——数据群生成更难数据，模型群从中学习，交替迭代同时提升数据质量和模型能力
• 实验结果：在四个评估领域、八个基线方法上，Data Swarms 在五个目标上全面超越基线；Adversarial Swarms 在保留集上平均提升 8.2%，优于静态数据或生成数据微调
• 泛化性：优化后的生成器可泛化到优化时未见过的 off-the-shelf LLM

对大模型数据工作的影响

Data Swarms 将”合成什么数据”从经验决策变为可优化的工程问题，核心贡献在于：(1) 首次为合成评估数据建立了量化优化框架，五个目标覆盖了评估数据的主要质量维度；(2) PSO 在模型权重空间搜索的方式，绕过了 prompt 工程的黑箱试错；(3) Adversarial Swarms 的数据-模型共进化范式，实质上是一种数据与能力的协同缩放机制。这对 LLM 评测基准的动态化和自适应构建具有方法论级影响。

---

GenesisFunc：多智能体函数调用数据合成管线

事件概述

ACL 2026 长文收录，阿里巴巴通义团队提出 GenesisFunc，一种自动化函数调用（Function-Calling）训练数据合成管线，解决现有 FC 训练数据的 API 不可靠、工具扩展性差、多样性不足和质量控制弱四大痛点。

技术细节

• 三阶段管线：(1) 从 BFCL 基准精选可靠 API 种子集，覆盖多领域且可扩展到下游工具；(2) 多智能体对话生成系统，通过角色分化（历史感知）和参数槽选择扩展多样性，智能体评分机制保障质量；(3) 多阶段评估模块，规则检查+模型检查+人工审核三级品控
• 关键创新：基于可靠公开 API 而非自建 API，确保了函数调用的可执行性；多智能体协作在对话生成中引入角色博弈，提升场景覆盖率
• 实验结果：在 Qwen3-8B 上微调后，GenesisFunc-8B 在 BFCL（域内）、API-Bank 和 ACEBench（域外）三个基准上全面超越同规模开源模型，FC 能力达到部分 API 模型水平
• 扩展性验证：管线可扩展到更多下游工具，且生成的数据经 RL 训练可进一步增强多轮对话 FC 能力

对大模型数据工作的影响

函数调用能力是 Agent 系统的核心，但 FC 训练数据一直是最薄弱的环节之一。GenesisFunc 的价值在于：(1) “从可靠 API 出发”的设计原则避免了合成管线中 API 幻觉的顽疾；(2) 多智能体对话生成而非单模型 prompt，在场景多样性上实现了质的提升；(3) 完整的开源管线（GitHub）使中小团队也能构建高质量 FC 训练数据，降低 Agent 训练数据门槛。

---

RMISC：真实 vs 合成数据预训练首现系统性逆转

事件概述

arXiv:2607.06504（7 月 7 日提交）提出 RMISC 语料库——约 200 个数据集、1420 亿时间点的真实世界多元时间序列归档，首次系统性证明在时间序列基础模型（TSFM）中，真实多元数据预训练优于合成数据。

技术细节

• 语料规模：约 200 个数据集、1420 亿时间点，覆盖金融、气象、交通、医疗等多领域，是目前最大规模的真实多元时间序列开放语料
• 对比实验设计：四种先进 TSFM 分别在单变量数据、合成多元数据和真实多元数据上预训练，评估零样本泛化能力
• 核心发现：引入真实多元数据显著提升了单变量和多元 TSFM 的泛化性能；此前主流 TSFM（如 TimesFM、Moirai）主要依赖合成多元数据预训练，但合成数据难以捕捉真实世界中复杂的跨变量关系和时序动态
• 开放获取：语料库完全开放，支持可复现研究

对大模型数据工作的影响

RMISC 的发现对”合成数据万能论”构成了来自非 NLP 领域的重要修正：(1) 在时间序列领域，合成数据可以规模化，但无法替代真实数据的跨变量耦合信息——这与 NLP 中合成数据的效果形成鲜明对比；(2) 提示了一个关键假设：合成数据的效果可能具有领域依赖性，在语言和代码领域有效的合成策略未必能迁移到连续值域；(3) 142B 时间点的真实数据开放为 TSFM 社区提供了相当于 FineWeb 级别的”基础语料”，有望推动时间序列基础模型的快速发展。

---

DataEvolver：自进化数据准备系统让流水线学会迭代

事件概述

人民大学 DataEvolver（arXiv:2606.07001）提出首个自进化数据准备系统，自动构建将原始数据转化为高质量训练数据的流水线，通过多级反馈循环迭代优化，在七个基准上实现下游 LLM 性能平均 10% 提升。

技术细节

• 双层自进化机制：(1) 算子级：增量扩展算子集构建逻辑计划，解决算子间依赖冲突；(2) 流水线级：将逻辑计划实例化为可执行代码，通过反馈循环迭代优化流水线编排，缩小准备数据与高质量示例之间的分布差距
• 核心创新：不依赖预定义流水线或人工指令，而是以少量高质量示例为目标，自动发现并优化从原始数据到目标数据的最佳转换路径
• 反馈驱动：每轮迭代评估准备数据与高质量示例的分布差距，将差距信号回传至流水线编排层，指导算子选择和参数调整
• 实验：七个基准上，与原始数据训练相比下游 LLM 性能平均提升 10%，验证了”LLM-数据协同进化”的新范式

对大模型数据工作的影响

DataEvolver 代表了数据工程自动化的新方向：从”人工设计流水线”到”系统自发现流水线”。(1) 双层自进化机制解决了数据准备中”算子选什么”和”怎么组合”两个核心决策的自动化；(2) 反馈循环设计使得数据准备不再是”一次性工程”而是”持续优化过程”，这与 CurateEvo 的失败驱动策展理念形成互补；(3) 代码已开源（GitHub），为数据工程工具链生态提供了可复用的自动流水线发现能力。

---

本期小结

本期五条动态呈现了数据工程从”静态策展”到”动态优化”的范式迁移：Inkling 的 45T token 多模态预训练展示了数据规模的持续突破，Data Swarms 和 GenesisFunc 分别从优化和协作两个角度革新合成数据方法论，RMISC 在时间序列领域首次实证真实数据的不可替代性，DataEvolver 则将数据准备本身建模为可自进化的系统。核心启示：数据工程的下一个前沿不是”更多数据”，而是”更智能的数据生产方式”——让数据生成、评估、准备过程本身成为可优化、可进化的闭环系统。