数据工程观察 · 2026年06月10日

引言

本期聚焦数据工程的五个前沿切面：中训练数据选择从”通用裁判”走向”专属评委”、数据过滤在极限算力下遭遇”苦涩教训”、AI数据准备全链路首次获得端到端评测基准、中国推出行业高质量数据集建设国家行动，以及RL信号回流中训练推动训练流水线从单向走向闭环。MIRA 首次实现了中训练异构数据的源感知锚定评分——让评价标准本身成为被发现的量而非被强加的预设；Stanford 的”苦涩教训”研究则从反面提出警示——当算力足够大时，人类精心设计的数据过滤器可能反而成为性能天花板；DataPrep-Bench 为合成数据评测补上了”高考标准”；而 ReMiT 与中训练-RL 飞轮则标志着训练流水线正式进入双向迭代时代。

---

MIRA：中训练数据选择的源感知锚定评分范式

事件概述

arXiv:2605.30288（2026年5月28日提交），由北京航空航天大学、上海交通大学、不列颠哥伦比亚大学、IQuest Research 和澜舟科技联合提出 MIRA（Mid-training Rubric Anchoring for Source-Aware Data Selection），首次系统性地解决了中训练阶段异构数据源的质量筛选问题。在面向代码的中训练场景中（21个数据源、5个源组），MIRA 仅使用一半 token 即可匹配全语料库训练效果，在九个代码基准上一致超越现有选择基线。

技术细节

MIRA 的核心创新在于将”评价标准的构建”本身纳入数据选择流水线，而非预设全局统一标准：

• 中训练数据选择的独特挑战：中训练数据来源极其异构——数学推理链、代码问答对、工具调用日志、软件工程修复轨迹等——格式各异、训练角色不同，通用质量评价方法要么语义能力弱（如困惑度过滤），要么扩展性差（如语义选择假设固定评分标准）
• 自锚定评分标准发现（Self-Anchored Rubric Discovery）：先将 21 个数据源按内容嵌入相似度聚类为 5 个能力一致组，然后让前沿模型对每组自由输出质量判断，通过聚类提炼为锚点评分维度——评代码文档的维度（如”API描述完整性”）自然不同于评工具调用日志的维度（如”JSON格式正确性”）
• 锚定评分蒸馏（Anchored Judge Distillation）：前沿模型按锚点维度对更大样本集打分，产生结构化标签后蒸馏为各组专属的轻量学生评分器，实现全语料库规模的高效过滤
• 源条件可靠性聚合（Source-Conditioned Reliability Aggregation）：对不靠谱的”源-维度”对施加可靠性掩码抑制，避免评分器在超出其判断能力的维度上输出噪声

对大模型数据工作的影响

MIRA 解决了中训练数据工程中的一个核心矛盾——规模性与语义精准性的不可兼得。此前，IBM PRISM 解构了中训练设计空间、Anthropic MSM 探索了规范文档中训练，但都未精细到”如何从异构来源中逐条选择记录”这一层面。MIRA 的”先发现评判标准、再据此批量打分”范式，使得数据质量评估从”一刀切”进化为”因地制宜”。这对于现代中训练流水线至关重要——Qwen3-Coder-Next 的 600B token 中训练和 GLM-5 的 1.55T token 三阶段中训练，都面临着如何在海量异构数据源中精准筛选的问题，MIRA 提供了第一个系统化的源感知方案。

---

数据过滤的苦涩教训：当算力足够大时，最好的过滤器是不过滤

事件概述

arXiv:2605.19407（2026年5月19日提交），斯坦福大学 Christopher Mohri、John Duchi 和 Tatsunori Hashimoto 发表《A Bitter Lesson for Data Filtering》，通过跨越两个数量级的缩放实验发现：在足够算力下，最好的数据过滤器就是没有过滤器。DCLM-Baseline 中原始 Common Crawl 被 99% 过滤后仅保留 1%，而研究预测 240 万亿 token 的未过滤完整 CC 池将在约 1e30 FLOPs 时成为最优训练数据源。

技术细节

这项研究从理论和实验两端挑战了”数据清洗决定模型上限”的行业共识：

• 缩放实验设计：将 CC 及其过滤版本等比缩小以保持相对大小不变，然后缩放模型参数量和训练步数，比较不同数据池上模型的最佳性能
• 垃圾数据鲁棒性测试：向训练数据中注入两类极端噪声——（1）由 1 万随机词组成的词表生成的纯随机字符串文档，（2）将 CC 文档词序完全打乱。令人惊讶的是，足够大的模型对这类”垃圾数据”表现出惊人鲁棒性，甚至能从打乱词序的文档中获益（利用 unigram 分布和词汇共现统计信息）
• 理论解释：基于线性矩阵分解理论，高容量（高秩）模型可以将噪声任务正交化并吸收到独立子空间中，不会导致性能下降；而小模型则因特征干涉而崩溃
• 缩放定律预测：建立了池大小、训练步数与模型大小之间的可预测关系，预测 DCLM-Pool 完整的 240T token CC 池在 1e30 FLOPs 时成为最优

对大模型数据工作的影响

这篇论文对数据工程实践提出了根本性挑战。当前行业”内卷”数据清洗管道的趋势——DCLM 99% 过滤率、FineWeb 多级质量信号、Nemotron-CC 精细策展——在算力持续增长的背景下可能正在接近其效用天花板。这与此前 FLUX（行级清洗管线）和 Propella-1（多维标注模型）代表的”越精细越好”路线形成了直接张力。不过需要注意：论文的结论适用于”算力不受限”的极限场景，当前主流训练规模（1e24–1e25 FLOPs）下，精细过滤仍有显著价值。更务实的解读是：数据工程的投入应当与预期训练算力规模相匹配——小算力精细筛选，大算力宽口径摄取——而非盲目追求越来越严苛的清洗标准。这也呼应了 DataRater（元学习数据筛选）和 ADAPT（在线数据策展）所代表的”算力感知数据选择”方向。

---

DataPrep-Bench：首个 AI 数据准备全链路端到端评测基准

事件概述

2026年6月6日，北大 OpenDCAI 团队开源发布 DataPrep-Bench——首个面向大模型数据准备全链路的端到端评测基准，实现从数据合成→筛选→最终模型训练效果的完整评测闭环。该基准同时提供”造数据成绩单”（量化不同 LLM/Agent/工作流生成数据的真实训练增益）和”考前估分榜”（验证数据质量指标能否预判训练价值），为 AI 造数建立了可量化、可对比的硬核标准。

技术细节

DataPrep-Bench 的核心设计理念是”端到端验证”，而非仅看中间质量指标：

• 双成绩单机制：第一份成绩单直接度量不同 LLM（GPT-4o、Claude、Qwen 等）、Agent（ReAct、Reflexion 等）和工作流生成的合成数据对下游模型微调的真实增益；第二份成绩单验证各类数据质量指标（如困惑度、多样性、覆盖度）能否提前预判数据的训练价值
• 评测结论——没有全能状元：不同 LLM/Agent/工作流在不同任务上各有所长，不存在单一最优数据生成方案。这验证了合成数据的”领域适配性”比”通用质量”更重要
• 质量指标的预测局限：许多看起来质量很高的合成数据（格式工整、逻辑通顺），实际训练后模型效果可能不升反降，说明传统质量指标与训练价值之间存在系统性偏差
• 全链路覆盖：从原始数据合成、筛选过滤到最终训练效果的完整评测链路，填补了此前评测基准只看单步质量、不看端到端效果的空白

对大模型数据工作的影响

DataPrep-Bench 补上了数据工程评测的关键一环。此前，无论是 Winnow（数据策展工具链）还是 NeMo Curator（GPU 加速策展框架），都缺乏一个统一的标准来回答”你的数据管线到底好不好”这个问题。DataPrep-Bench 的端到端评测范式，使得”模型崩溃”风险（Nature 已警示）、合成数据质量验证等关键问题有了可量化的评估标准。特别值得注意的是”没有全能状元”的发现——这与 MIRA 的源感知评分理念遥相呼应：不同来源/类型的数据需要不同的质量评价标准。DataPrep-Bench 开源（ODC-BY 许可），为社区提供了可复现的数据工程评测基础设施。

---

国家数据局发布行业高质量数据集建设行动方案

事件概述

2026年6月8日，国家数据局正式印发《关于推进行业高质量数据集建设行动的实施方案》（6月3日签发），部署强基扩容、标注攻坚、提质增效、应用赋能、管理服务、价值释放六个专项行动，目标到2028年底建成一批覆盖重点领域、经过应用验证的行业高质量数据集，形成”场景牵引数据→数据驱动模型→模型赋能应用→应用创造价值”的”数据飞轮”。

技术细节

方案的核心要点聚焦于数据供给侧的结构性突破：

• 多模态全覆盖：明确推进文本、代码、图像、音频、视频、点云、时序数据、科学数据等多模态高质量数据集建设，赋能预训练、指令微调、强化学习、测评各阶段
• 智能体与具身智能数据：加快复杂任务规划、长程推理、人机交互、决策执行等数据集建设赋能智能体；推进物理交互、环境感知、运动控制等真机交互数据集建设赋能具身智能；积极应用仿真模拟与合成技术扩大数据供给
• 知识基础设施：加强知识库、知识图谱、本体等数据集建设，推进面向世界模型等前沿方向的数据集
• 价值释放机制：构建从供给到价值释放的良性循环，培育创新型数据企业和专业人才，形成行业高质量数据集建设工具和标准

对大模型数据工作的影响

这是中国首次以国家级行动方案的形式系统性推进 AI 训练数据基础设施建设。方案将数据定位为”AI 的基础性、关键性资源”而非副产品，标志着数据工程从学术研究走向国家战略。对于国内大模型团队而言，该方案有三层直接影响：一是真机交互数据集和合成技术扩大的政策支持，将加速具身智能训练数据的供给瓶颈突破（呼应 AGIBOT WORLD 的失败数据开源方向）；二是知识库/知识图谱数据集的系统性建设，为知识增强训练数据（如 GraphGen、SBP 的跨文档关联合成）提供了基础设施工具；三是”数据飞轮”概念的政策化，与 ReMiT 的自我增强飞轮、AgenticQwen 的双数据飞轮形成理论与实践的呼应。该方案也为此前面壁智能 UltraData 系列、智源 CCI 4.0 等开源数据工作提供了更明确的政策支撑方向。

---

ReMiT 与中训练-RL 飞轮：训练流水线从单向走向闭环

事件概述

arXiv:2602.03075（2026年2月提交），上海交通大学与腾讯优图实验室提出 ReMiT（RL-Guided Mid-Training），首次建立 RL 信号回流中训练的自我增强飞轮——RL 微调模型的推理先验被用于动态调整中训练 token 权重，优化后的基座模型又反过来提升后续 RL 效果。在 10 项预训练基准上平均提升 3%，且增益在整个后训练管线（SFT/DPO/RL）中持续保持 2% 以上。与此同时，广涵博客《Re-visiting Mid-training Stage: for & with Agentic RL》系统梳理了中训练与 Agentic RL 的双向关系，标志着中训练正式从”预训练附属品”进化为独立研究前沿。

技术细节

ReMiT 的核心发现和方法：

• 关键转折点识别：通过分析训练动态发现，模型能力跃升的关键转折点出现在训练中期（退火阶段），此时基座模型的 token 分布快速向 RL 微调模型对齐，是介入干预的黄金窗口
• token 级动态重加权：ReMiT 利用 RL 微调模型的 token 级概率差异作为中训练 next-token prediction loss 的权重，优先关注对推理至关重要的”关键 token”，而非均匀对待所有 token
• 飞轮效应验证：更好的基座模型 → 更好的 RL 参考模型 → 更好的中训练 token 加权 → 更好的基座模型，形成自我增强循环
• 计算效率：尽管引入参考模型的前向传播导致单步吞吐量下降，但收敛时间在 GPU 小时上实现 3.5 倍加速

中训练与 Agentic RL 的双向关系也在工业级实践中得到验证：

• Mid-training for Agentic RL（传统方向）：Qwen3-Coder-Next 用 600B token 仓库级代码中训练 + 800K 合成 SWE 任务，使 3B 活跃参数 MoE 在 SWE-Bench Verified 达到 71.3%；GLM-5 用 1.55T token 三阶段渐进上下文扩展中训练（32K→128K→200K）达到 77.8%
• Mid-training with Agentic RL（新兴方向）：NVIDIA RLP 将 RL 嵌入预训练/中训练目标作为密集奖励信号；SWE-smith 仅用 128 个 GitHub 仓库、20 小时人工和 $1360 计算制造 5 万训练实例，达到 40.2% SWE-Bench Verified

对大模型数据工作的影响

ReMiT 和中训练-RL 飞轮标志着 LLM 训练流水线从线性单向走向闭环迭代。这对数据工程有三层影响：一是数据价值评估不再只在训练前进行——RL 信号可以回流标记哪些训练数据对推理最关键，MIRA 的源感知评分和 ReMiT 的 token 级重加权从不同粒度实现同一目标；二是中训练数据配方成为模型迭代的核心杠杆——Qwen3-Coder-Next 和 GLM-5 的成功证明，中训练数据（而非模型架构或训练算法）是当前性能突破的主变量；三是训练数据工程需要支持增量迭代——飞轮模式意味着数据管线不再是一次性的，而是需要像 Mixtera（声明式数据平面）和 Lakestream（训练数据平面）那样支持动态调整。这与 ANDES（智能体原生数据合成）和 DataMaster（自主数据工程智能体）共同指向一个趋势：数据工程正在从”人驱动的一次性前置步骤”进化为”模型驱动的持续迭代循环”。