数据工程观察 · 2026年05月27日

引言

本期聚焦推理训练数据效率、Data-Centric AI 范式转型与预训练数据混合方法论三条主线。GRACE 首次将推理数据策展从”整条轨迹评分”推进到”步骤级优化效用评估”，5% 数据即可保留全量训练性能；DataFlow + DataFlex 的深度解读揭示了 Data-Centric AI 从理念到产业落地的完整路径；UtiliMax 则将金融投资组合优化思想引入数据混合，为预训练数据配比提供了新的理论工具。三条线索共同指向一个方向：数据工程的精细化和科学化正在加速。

---

GRACE：梯度对齐的步骤级推理数据策展

事件概述

哈尔滨工业大学与香港浸会大学联合团队提出 GRACE（Gradient-aligned Reasoning Data Curation for Efficient Post-training），首次将推理数据策展的粒度从”整条轨迹”细化到”单个步骤”。论文发表于 arXiv（2605.13130），在 Qwen3-VL-2B-Instruct 上使用 MMathCoT-1M 数据集验证，仅用 20% 数据即达到全量训练 108.8% 的性能，5% 数据仍保留 100.2% 性能。

技术细节

现有推理数据策展方法对整条推理轨迹统一评分，将每个中间步骤视为同等价值。GRACE 的核心洞察是：推理轨迹中的步骤贡献极不均匀，某些步骤直接支撑最终答案，另一些则重复前文、偏离主题或引入噪声。

GRACE 将每条推理轨迹建模为”优化事件序列”，对每个步骤从两个互补维度评分：

1. 答案导向对齐性（Answer-oriented Alignment）：衡量该步骤诱导的梯度方向与最终答案优化方向是否一致
2. 轨迹一致性（Trajectory Consistency）：衡量该步骤诱导的梯度方向与先前步骤累积形成的推理轨迹方向是否一致

为解决步骤级梯度计算在大规模数据上的不可行性，GRACE 引入表示级梯度代理（Representation-level Gradient Proxy），通过单次前向传播从 token 级上游信号估计步骤级对齐度，无需外部奖励模型或步骤标注。步骤级分数聚合为样本级效用值后用于子集选择。

对大模型数据工作的影响

GRACE 的意义在于打破了”数据越多越好”的直觉——推理训练中，选对数据比多喂数据更关键。5% 数据保留 100% 性能意味着推理后训练的计算成本可压缩至原来的 1/20，且选出的子集在不同模型骨架（Qwen2.5-VL-3B、LLaVA-1.5-7B、Qwen3-VL-8B）间具有强迁移性，表明 GRACE 捕捉的是数据的内在价值而非模型特定的偏差。对大规模推理模型训练的数据管线设计而言，步骤级策展可能成为新的标配环节。

---

DataFlow + DataFlex 深度解读：Data-Centric AI 从理念到产业

事件概述

2026 年 5 月 26 日，一篇系统性文章深度拆解了北大 DCAI 团队梁昊博士主导的开源项目 DataFlow 和 DataFlex，全面阐释了 Data-Centric AI 范式转型的技术路径和产业落地实践。两个项目已赋能智谱科技、深势科技、腾讯等多家企业，覆盖教育、互联网、汽车等行业。

技术细节

文章指出 Data-Centric AI 时代的两大核心趋势：

趋势一：从”依赖网络语料”转向”大规模使用合成数据”。2026 年全球大语言模型训练数据中合成数据占比达 58%，首次超过真实数据。合成数据的优势在于可控、高质量、理论上无限量。

趋势二：从”人工清洗数据”转向”Agent 驱动自动化数据工作流”。一个 Agent 可完成过去数十人的工作量，在几天内完成以往需数月的任务。

两个工具分工明确：

• DataFlow：数据准备的”万能工厂”，自动化解析、清洗、去重、纠错、提取并合成来自 PDF、网页、图片、表格等多种来源的原始数据，输出可直接用于训练的高质量数据
• DataFlex：数据训练的”智能管家”，根据模型训练状态动态进行数据筛选、排序与分配，实现”因材施教”式的课程学习策略

对大模型数据工作的影响

DataFlow + DataFlex 的产业落地标志着 Data-Centric AI 已从学术概念走向工程实践。此前 Volume 48 已报道 DataFlow-Skills 的 Agent 规则封装能力，此次深度解读进一步揭示了两个工具的协同架构——DataFlow 负责”造好数据”，DataFlex 负责”用好数据”。对大模型团队而言，这种”数据准备 + 数据调度”双引擎模式提供了端到端的数据工程解决方案，尤其在企业私有数据场景下，可显著降低数据生产的门槛和成本。

---

UtiliMax + MEDU：投资组合优化思想引入预训练数据混合

事件概述

Hugging Face 博客近期发布 UtiliMax 与 MEDU（Model-Estimated Data Utility）方法，将金融领域的投资组合优化思想引入大语言模型预训练数据混合问题。该方法在 Dolma V1.7（OLMo 训练数据集）上验证，自动估计 15 个数据源的效用并计算最优混合配比。

技术细节

现有数据混合方法存在三种路径：手动策划、启发式采样、学习型数据混合模型。研究者首先进行广泛基线比较，发现最简单的 UniMax（纯按数据集大小分配 token）竟然优于所有先前方法。

UtiliMax 在 UniMax 基础上引入数据集效用估计，将数据混合问题形式化为投资组合优化问题：

• 每个”资产”（数据集）有其”预期回报”（效用估计）
• “风险”与多样性相关
• 利用凸优化工具，在”采样所有数据集”、“偏好高效用数据集”和”避免小数据集过度重复”之间取得平衡

MEDU（Model-Estimated Data Utility）进一步利用 LLM 本身来估计数据效用：通过对单个数据集进行小规模实验，获取效用估计作为输入。这种方法无需大规模搜索即可获得数据质量信号。

对大模型数据工作的影响

UtiliMax 的核心贡献是将数据混合从”经验调参”提升为”优化问题”，且提供了一套可解释的决策框架。投资组合优化的类比非常直观：正如基金经理需要在收益、风险和分散化之间平衡，大模型训练也需要在数据质量、多样性和规模之间权衡。该方法与 DeMix Corpora（Volume 47 报道的 22T token 验证配比语料）形成互补——DeMix 提供数据，UtiliMax 提供配比算法。

---

RDB-PFN：纯合成数据预训练关系数据库基础模型

事件概述

北京邮电大学与剑桥大学联合团队提出 RDB-PFN，首个完全基于合成数据预训练的关系数据库基础模型。论文发表于 arXiv（2603.03805），最新版本更新于 2026 年 5 月 9 日，已被收录。模型在超过 200 万个合成关系数据库任务上预训练，在 19 个真实世界关系预测任务上达到强少样本性能。

技术细节

关系数据库（RDB）是现代商业的支柱，但缺乏与文本或视觉领域可比的基础模型。核心障碍是高质量 RDB 数据私有、稀缺且结构异质，无法像文本那样从互联网大规模预训练。

RDB-PFN 的关键创新是Relational Prior Generator（关系先验生成器），从零创建无限多样化的关系数据库流：

1. 受 Prior-Data Fitted Networks（PFNs）启发，利用结构因果模型（SCM）生成合成数据
2. 生成超过 200 万个合成单表和关系任务
3. 模型通过真正的上下文学习（in-context learning）即时适应任何新数据库

对大模型数据工作的影响

RDB-PFN 展示了合成数据预训练在高度结构化领域的可行性。此前的合成预训练工作主要聚焦自然语言和视觉，RDB-PFN 将其拓展到表格数据这一全新领域，且无需任何真实数据即可实现强泛化。这对大模型数据工程的启示是：当目标领域数据天然稀缺或私密时，合成先验生成可能是唯一可行的预训练路径。该方法论可迁移至金融、医疗等数据敏感领域的基础模型构建。

---

合成数据 2026 里程碑：占比首超真实数据

事件概述

2026 年成为合成数据发展的里程碑年份——全球大语言模型训练数据构成中，合成数据占比达到 58%，首次超过真实数据。OpenAI、Anthropic 及多家中国大模型厂商几乎同时宣布，其最新模型训练数据中合成数据占比已超过 60%。斯坦福最新研究更显示，精心设计的合成数据训练效果在多场景下已反超 RAG 方案。

技术细节

合成数据从”辅助”到”主力”的转变基于三个技术成熟度：

1. 源重写范式（Source Rephrasing）成为主流：Nemotron-CC、Phi-4、Kimi K2、Qwen-2.5、Grok、GPT-5 均报告大量使用源重写合成数据
2. 小模型重写优于大模型生成：BeyondWeb 研究表明，用小模型重写现有文档比用大模型从零生成更高效，训练效率比公开数据快 7.7×
3. 质量-多样性平衡成为核心挑战：单一风格合成方法边际递减明显，多源合成数据缓解分布坍缩

对大模型数据工作的影响

58% 的占比标志着行业对合成数据的信任已从”不得已的替代”转变为”主动的首选”。对数据工程团队而言，这意味着工作重心的根本转移：从”爬取+清洗”转向”设计+生成+验证”。合成数据的可验证性（verifiability）成为新的质量金标准——可验证的数学题、可执行的代码、可通过单元测试的程序，比人工标注更可靠。后训练数据质检系统也需要适应这一转变，从检查”是否真实”转向验证”是否有效”。