数据工程观察 · 2026年05月28日

引言

本周数据工程领域出现一系列挑战既有范式的突破性工作。从 HRM-Text 用 40B 结构化 token 和 1500 美元从零训出媲美 7B 模型的成果，到 CosyCPT 用图论核心性优化合成 CPT 采样效率，再到 Dr. Post-Training 将后训练数据混合重新定义为正则化问题——一个清晰的趋势正在浮现：数据工程正在从”量”的竞争走向”结构先验”与”信息密度”的竞争。谁更懂数据内部的结构，谁就能用更少资源训出更强模型。

---

HRM-Text：结构化问答数据颠覆海量原始文本预训练范式

事件概述

Sapient Intelligence 联合 MIT 发布 HRM-Text（arXiv:2605.20613），仅用 1B 参数、40B 非重复 token、约 1500 美元训练成本，从零训练出在 MMLU 60.7%、ARC-C 81.9%、GSM8K 84.5%、MATH 56.2% 上媲美 2B-7B 主流开源模型的基座模型。该成果对”万亿 token 原始网页预训练”范式提出了根本性质疑。

技术细节

• 跳过无监督原始文本预训练：HRM-Text 完全不使用传统 web-scale 原始文本预训练，直接在结构化问答数据上训练，训练目标仅对”回答”部分计算损失，不对”问题”部分计算损失，避免将计算资源浪费在预测已知信息上
• 数据构成：训练数据全部来自 7 大类公开开源数据集，总量仅 40B token，约为同级别常规模型训练数据的千分之一
• 架构创新：采用层级循环模型（HRM）架构，引入双时间尺度循环推理，每次前向传播包含 8 步内部循环（2 步高层 + 6 步低层），在不增加参数量的前提下提升每 token 计算量
• 训练效率：2 台 8 卡 H100 服务器约 46 小时完成训练，int4 量化后仅占约 0.6 GiB，可直接部署于手机端侧

对大模型数据工作的影响

这是对”数据越多越好”信条的一次强力反证。HRM-Text 的核心启示在于：结构化数据的信息密度远高于原始网页文本，当模型架构具备足够强的结构先验时，少量高质量结构化数据即可替代海量噪声文本。这对数据工程实践有两层含义：一是数据策展应从”先爬后洗”转向”按需构造”，直接生成目标格式的训练数据；二是训练数据格式设计本身成为了一阶优化目标，而非被动的预处理环节。该工作已开源完整训练框架和数据管线。

---

CosyCPT：图论核心性驱动的合成持续预训练

事件概述

UMass Amherst 联合 Google Research 提出 CosyCPT（Coreness-Aware Synthetic Continued Pretraining，OpenReview #22241，投稿 ICLR 2026），首次将图论核心性（coreness）概念引入合成持续预训练的数据采样策略，理论证明核心性感知采样是最优采样方案的近似，实验中多种变体均超越随机采样基线。

技术细节

• 三步管线：(1) 从文档中抽取实体关系构建图表示；(2) 基于图结构计算实体/关系核心性分数；(3) 用核心性分数引导合成数据的采样与增强
• 核心性定义：研究探索了 4 种实体核心性定义和 4 种关系核心性公式，验证多种变体均可超越随机采样
• 理论贡献：证明在给定学习预算下，最大化文档集合中关系知识查询集的期望准确率是 NP 完全问题；当每个查询仅检查一对实体时，核心性感知采样是最优解；核心性感知采样具有比随机采样更紧的期望准确率上界

对大模型数据工作的影响

CosyCPT 解决了合成 CPT 中的核心效率瓶颈：现有方法需要枚举所有关系事实生成海量合成语料，既浪费算力又忽视关系的重要性差异。核心性感知采样的引入意味着并非所有知识关系都值得等量合成——文档中处于核心地位的实体关系应获得更多合成数据覆盖。这一思路可推广至任何需要从有限源文档扩展训练数据的场景（如垂直领域适配、企业知识库注入），为”数据高效合成”提供了理论指导。

---

Dr. Post-Training：后训练数据混合的正则化理论重构

事件概述

密歇根大学研究团队提出 Dr. Post-Training（Data-Regularized Post-Training，arXiv:2605.07063），将后训练中通用数据的角色从”选择池”重新概念化为”数据诱导正则化器”，在 SFT、RLHF、RLVR 三种后训练场景中一致超越 SOTA 数据选择基线。

技术细节

• 核心重构：传统数据选择框架将通用数据视为”从中挑选有用样本的候选池”；Dr. Post-Training 则将通用数据视为”定义可行更新方向的正则化器”——每步训练先用通用数据构建模型更新方向的可行集，再将目标数据指定的更新方向投影到该可行集上
• 统一理论：标准训练和现有数据选择方法是不同正则化强度下的特例，对应偏差-方差谱上的不同点
• 丰富设计空间：基于此视角提出一族方法，提供更灵活的偏差-方差权衡
• 系统优化：针对 LLM 规模的实际使用引入了细致的系统优化，实现最小化额外开销

对大模型数据工作的影响

这项工作从理论层面澄清了后训练数据混合的内在机制。实践中，SFT/RLHF 工程师常面临”通用数据混多少”的调参困境——Dr. Post-Training 给出了一种原则性的回答：通用数据不是”竞争者”而是”约束器”，其作用类似于 Dropout 等正则化手段，防止模型过拟合到稀缺的高质量目标数据上。这一视角转换直接影响数据配比策略的设计：不再是”选哪些通用样本”，而是”设多强的正则化约束”。对数据工程师而言，这意味着数据混合比例可从正则化理论直接推导，而非纯靠经验调参。

---

GoLongRL：能力导向的长上下文推理训练数据设计

事件概述

快手技术团队联合中国科学院大学发布 GoLongRL（arXiv:2605.19577），提出能力导向的长上下文强化学习框架，其 30B 参数模型在多个权威长文本理解基准上匹配 DeepSeek-R1-0528 和 Qwen3-235B 等顶尖大模型。核心突破在于训练数据的多样性设计与多任务对齐的奖励函数。

技术细节

• 训练数据多样性设计：构建覆盖真实生活中各种阅读任务的多样化长文本训练数据，确保模型接触足够广泛的阅读场景类型
• 能力导向多任务对齐：设计差异化的奖励函数，区分不同难度和类型任务的评分标准，避免一刀切的奖励信号导致模型偏向简单任务
• 数据与算法协同：强调”训练数据质量+多样性”与”训练算法科学性”的双管齐下，而非单纯堆叠参数量
• 完整开源：数据集、训练流程和代码全部开源

对大模型数据工作的影响

GoLongRL 的核心数据工程启示是：长上下文能力的关键瓶颈不是上下文窗口大小，而是训练数据对真实阅读场景的覆盖度与奖励信号的细粒度。很多长上下文模型”看得见但读不懂”的根源在于训练数据类型单一、奖励信号粗糙。这对数据工程实践意味着：长上下文训练数据的设计需要从”给模型看长文本”升级为”让模型在多样化场景中练习不同深度的阅读理解”，且奖励函数的设计本身就是数据工程的一部分，而非独立于数据的算法问题。

---

LoongRL：线索链数据合成突破长上下文推理数据瓶颈

事件概述

微软亚洲研究院联合上海交大、CMU 提出 LoongRL，创新性地设计了 KeyChain 数据合成方法，将简单的多跳问答转化为复杂长上下文推理挑战，解决了高难度长文本推理训练数据严重稀缺的问题。

技术细节

• KeyChain 合成方法：在大量无关文档中嵌入由 UUID 构成的”线索链”，将真正的问题隐藏在链条末端——模型必须从海量干扰文档中追踪线索、逐步推理才能找到答案
• 从简单到复杂的转化：将已有的多跳问答数据作为种子，通过线索链嵌入将其升级为需要长距离推理的复杂任务
• 可验证性：由于答案嵌入在确定的 UUID 链中，合成数据天然具备可验证性
• 群组相对策略优化：采用 GRPO 算法，让模型的多个回答互相比较学习，而非简单的对错奖惩

对大模型数据工作的影响

LoongRL 的 KeyChain 方法代表了一种精妙的数据合成范式：不是从零生成新数据，而是通过结构化嵌入将简单任务升级为复杂任务。这种”难度注入”策略有三大优势——数据可规模化（自动生成 UUID 链）、可验证（答案路径确定）、难度可控（链长度和干扰文档数量可调）。这一方法论可推广至任何需要高难度训练数据但缺乏人工标注的场景，如法律合同推理、金融报告分析等，为”数据难度工程”提供了通用工具。