数据配方的算法时刻：从中训练调度到轻量级质量判官，大模型数据工程正在长出'调度层'

引言：清单时代正在结束

过去几年，大模型数据工程的主流叙事，是「清单」——把什么样的数据加进来、按什么比例混合、用什么规则过滤。RedPajama 给了你一份清单，DCLM 给了你第二份清单，FineWeb 给了你第三份。从业者的核心动作变成「把不同清单里的高质量源挑出来，按比例投进训练炉」。

但 2026 年 6 月有三件事同时发生，把这条路线撞到了墙上：

• 蚂蚁百灵用一份公开的技术报告告诉所有人，万亿参数模型 Ling-2.6-1T 的关键 1.2 万亿 tokens 不是用来「继续堆数据」的，而是被精心放在一个三阶段「中训练（mid-training）」管线里，依次把上下文窗口从 4K 推到 32K 再推到 256K，每一阶段都换数据、换目标、换调度。
• arXiv:2605.25698 用一个带闭式解的 functional scaling law 证明，「什么时候喂高质量数据」本身就是一个最优化问题——传统课程学习「把好数据放最后」的直觉，不仅次优，而且在 noise-limited regime 下是完全错误的。
• AllenAI 把一个 16M 参数的 DataDecide 模型开源到华为昇腾 Modelers.cn，让 PB 级数据的质量打分第一次有了「亚秒级、单卡、零门槛」的工业级实现。

三件事的共同信号是：数据工程正在从「挑什么」进入「何时喂、怎么喂、谁来打分」三轴联动的调度时代。这不是一次渐进改良，而是数据工程方法论的第二次范式跃迁——第一次是「过滤 vs 不过滤」，这一次是「清单 vs 配方」。

---

一、为什么是「中训练」：万亿模型的第二战场

1.1 预训练不是全部，这件事其实早就有线索

把训练过程切成「预训练（pre-training）+ 后训练（post-training）」是 ChatGPT 之后行业默认的两段论。但 2025 年开始，越来越多团队在中间插入了一个第三段——mid-training，或者叫「中段训练 / 中期训练 / 继续训练中的强化阶段」。

这条曲线并不是凭空出现的。Meta 在 Llama 3.1 技术报告里就披露过，他们把最后的 5%-8% 训练 token 专门用于代码与数学的「annealing（退火）阶段」，相当于在 15T tokens 主训练之后又开了一轮定向投放。Mistral、Qwen、DeepSeek 在 2025-2026 年的技术报告里也都有类似表述——只是各家叫法不一。

但要说 2026 年 6 月把这件事讲得最完整的，是蚂蚁百灵团队。

1.2 蚂蚁 Ling-2.6-1T 的 1.2 万亿中训练：一份工业级拆解

6 月 16 日，蚂蚁 Inclusion AI 正式公开 Ling-2.6-flash / Ling-2.6-1T / Ring-2.6-1T 三款万亿 MoE 模型的技术报告。报告把整套训练拆成清晰的五段：

阶段	数据量	上下文窗口	核心目标
架构迁移预训练	~400B tokens	4K	GQA → Lightning Attention + MLA（7:1 混合）四步迁移
继续预训练	~8T tokens	4K	通用能力深化、知识刷新
中训练 (mid-training)	~1.2T tokens	4K → 32K → 256K	长上下文适配 + 推理 / Agentic 数据加强
后训练 (SFT/RL)	—	32K-256K	指令对齐 / 推理压缩
Agentic RL	—	256K	Ring-2.6 的长程工具调用

注意中间这一行——1.2 万亿 tokens，占总训练量约 12.5%，却被单独切出来作为一段独立的中训练。它的数据配方、上下文窗口、训练目标全部重新设计：

• 数据组成变化：通用 web 比例下降，长上下文语料（数学 web 解析、摘要、检索、多跳推理）、Agentic 数据（工具调用、代码执行轨迹）、多语言语料（21 种语言）、数学 / 代码（高密度 STEM）被显著加强。
• 上下文窗口变化：4K → 32K → 256K，分三阶段逐步推开，每一阶段都会重新调度 batch size 和学习率。
• 能力指向：这一阶段不是学新知识，是让模型在「长上下文中保持推理一致性」——这是万亿参数模型从「背书神器」走向「真实工作流」的关键。

报告里有个细节很容易被忽略：在 32K+ 上下文场景下，注意力消耗的算力占比就超过总 FLOPs 的 60%；到了 256K，全注意力直接变成绝对瓶颈。所以他们把 Lightning Attention（线性注意力）和 MLA（多头潜注意力）按 7:1 比例混合，并通过 scaling law 实验在 1:1、3:1、7:1、15:1 里挑出 7:1 是「等算力约束下的最优解」。

注：Ling-2.6-1T 最终对外暴露的 API 上下文窗口为 256K，但模型本身原生支持 1M 上下文（来自蚂蚁开发者文档 developer.ant-ling.com）。也就是说 mid-training 阶段是 256K 截止，模型后续可以通过持续训练推到 1M——这两个数字不矛盾。

1.3 中训练的三个根本性新问题

中训练不是「再多训一点」，它带来了预训练里根本不存在的三个问题：

1. 数据-上下文耦合：同一份数据在 4K 和 256K 下的有效信息密度完全不同。强行用 4K 友好的代码片段训 256K 上下文，模型会学不会「在长上下文中保持引用一致性」。
2. 数据-学习率耦合：高质量数据进入训练的时点，必须配合 batch size / 学习率的调度，否则再好的数据也会被「传统 decay schedule 削弱」——这点下面 DSR 论文会给出严格证明。
3. 数据-能力耦合：数学、代码、Agentic 数据的最佳投放窗口并不重叠；有人喜欢「早期打底」，有人喜欢「晚期冲峰」，但没有人给出过严格的理论最优。

这三个耦合点，就是「数据配方工程（Data Recipe Engineering）」真正区别于「数据清单工程（Data List Engineering）」的标志。

---

二、DSR 论文：当数据工程进入算法调度时代

2.1 一个被忽视 4 年的矛盾

2026 年 5 月 25 日挂上 arXiv 的论文《How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws》（arXiv:2605.25698，作者 Zhitao Zhu, Xili Wang, Shizhe Wu, Jiawei Fu, Xiaoqing Liu——注意是 5 人团队而非更早期的”个人工作”）从理论上撕开了一个长期被忽视的工程矛盾：

课程学习（curriculum learning）的传统直觉是「把好数据放最后」——因为学习率在后期衰减，模型「更挑剔」，好数据才能被有效吸收。

但这个直觉有一个致命bug：学习率衰减的同时，更新强度也在衰减。当最好的数据终于进场时，模型的学习能力也到了低谷。这就像让一个马拉松选手在第 42 公里才拿到能量胶——理论上对，但生理上已经吸收不动了。

2.2 Quality-Aware Functional Scaling Law：闭式解

论文把数据质量作为一个新维度引入 functional scaling law（FSL），并以闭式解形式求出数据质量 p(t) 和 batch size b(t) 的联合最优调度。其核心定理（Theorem 3.1）将 excess risk 分解为「信号学习项」和「噪声累积积分」两部分：

E[E(θ_T)] ∝ T^(-s) + η ∫₀ᵀ K(T-t) · σ²_eff(t)/b(t) dt

其中 σ²_eff(t) = p(t)·σ²_good + (1-p(t))·σ²_bad 是「时变有效噪声方差」。这条公式把「数据质量」和「训练动力学」第一次放进了同一个优化器里。

2.3 两个 Regime，两种数据角色

闭式解揭示了一个反直觉的发现：高质量数据在不同 regime 下扮演完全相反的角色。

• Noise-Limited Regime（s > s_crit）：噪声累积是瓶颈。此时 batch size 约束 B_min 渐近失效。最优质量调度 p*(t) 是「bang-bang」（开关式），且质量放置位置是退化的——高质量数据可以灵活分配到任意时段。关键洞察是：此时应该把 batch size 在切换到高质量数据时降低 r 倍（r = σ²_good / σ²_bad），让更新强度增加、噪声注入率不增。这等于把高质量数据当成「信号放大器」。

• Signal-Limited Regime（s < s_crit）：信号累积是瓶颈。此时 batch size 约束 B_min 生效。最优调度退化为严格三阶段：阶段一用全部低质量数据 + B_min；阶段二用全部高质量数据 + B_min；阶段三用 B_min 之后ramp up到更高 batch size 抑制终端噪声。传统课程学习只利用了第二阶段的「噪声抑制器」角色，却错过了第一阶段的「信号放大器」角色。

2.4 DSR 配方：Drop-Stable-Rampup

基于这个发现，论文提出了 Drop-Stable-Rampup（DSR） 的中训练调度：

1. Drop：在质量切换时点，把 batch size 从 B_normal 降到 B_min
2. Stable：保持 B_min，让高信噪比数据累积足够梯度信号
3. Ramp Up：把 batch size 再 ramp up 到抑制终端噪声

这与传统 Warmup-Stable-Decay（WSD）和 Cosine-decay 的根本区别是：DSR 在质量切换时主动降 batch，而不是降学习率。

2.5 实验数据

在 15B MoE 模型、108B tokens 中训练上，DSR 给出强数据：

调度	平均精度（14 基准）	相对 DSR	GSM8K 增益	MATH 增益
Cosine-decay	-2.98	基线-2.98	-4.23	-2.80
WSD	-1.70	基线-1.70	—	—
DSR	基线	0	+4.23	+2.80

注：表中”GSM8K 增益”和”MATH 增益”是 DSR 相对 Cosine-decay 的差值——直接取自论文原表（与平均精度列的差值单位一致）。WSD 行因论文未单独披露其在 GSM8K/MATH 上的差值，标注”—”

在数学推理任务上，DSR 相对 WSD 给出显著改进——这正是 mid-training 真正在意的能力维度。

2.6 理论意义

DSR 论文最重要的贡献不是 DSR 这个具体配方，而是第一次给出了「数据配方」的最优性判据。从今以后，任何关于「什么时候喂高质量数据」的设计主张都需要被这条 scaling law 检验。这等于把数据工程从「经验手艺」推上了「算法科学」的台阶。

---

三、DataDecide-16M：当「质量判官」也变成了一类模型

3.1 一个反直觉的产品形态

如果说 DSR 论文回答了「何时喂」，那 AllenAI 在 2026 年 4 月开源的 DataDecide-16M 回答的就是「谁来打分」。

DataDecide 是 AllenAI 在 2026 年发布的一个完整的 350 模型套件——在 25 个不同语料（Dolma 1.7、DCLM-Baseline、FineWeb-Pro、FineWeb-Edu、C4、Falcon、Falcon+CC 等）上预训练，参数规模从 4M 一直到 1B，总共超过 30,000 个检查点。其中 16M 是最小一档（4M / 6M / 8M / 10M / 16M / 20M / 60M / 90M / 150M / 300M / 530M / 750M / 1B），目的是让数据团队在亚 1% 算力预算下就能跑完所有数据选型实验。

具体到 DataDecide-16M 这个尺寸，它只做一件事——对文本片段打「数据质量分」。它的训练目标是：把高质量数据（如 FineWeb-pro / Falcon RefinedWeb）打高分，把原始 Common Crawl 打低分。模型小到可以在单张昇腾 310 边缘卡上跑，延迟亚秒级，吞吐量却能覆盖 PB 级语料。

这类模型的出现标志着数据工程第二次分工：

• 第一次分工（2020-2024）：把数据工程的「清洗 + 过滤 + 评分」从训练循环里拆出来，作为独立的预处理管线。
• 第二次分工（2025-2026）：把「打分」这个动作从「规则 + 启发式 + 7B+ 分类器」收敛到「专用小模型」。

DataDecide 系列有多个 16M 变体，分别针对不同质量基准：

变体	对齐目标	适用场景
DataDecide-fineweb-pro-16M	FineWeb-pro 质量线	通用高质量 web 数据
DataDecide-falcon-and-cc-16M	Falcon / Common Crawl 二分类	web 数据初筛
DataDecide-dclm-baseline-qc-10p-16M	DCLM Top 10% 子集	DCLM 复现管线

注：DataDecide 全部 350 个模型（4M-1B 共 14 个尺寸 × 25 个数据集 × 3 个随机种子）的训练算力在 25×14×3 = 1,050 次 100B-token 训练左右；AllenAI 公开这套套件的目的是让数据选型决策从”拍脑袋”变成”实验驱动”——任何团队都可以用 4M-20M 的小模型在自己的目标领域上复现”哪个数据配比最优”的研究。

3.2 为什么是 16M，而不是 7B

直觉上，用一个 7B+ 的 LLM 当「质量判官」会更准。但工程上这是完全错误的选择：

1. 吞吐：7B 模型在单卡 A100 上做 inference 跑 PB 级数据，物理上不可能。16M 模型在昇腾 310P 上可以横向扩到数百节点并行。
2. 延迟：在线数据管道里，每条文档的评分必须亚秒级返回，否则就成了训练瓶颈。16M 模型的 fp16 推理延迟通常在 5-20 毫秒。
3. 成本：PB 级数据 × 7B 模型 × 推理费 = 一笔让 CFO 心脏病发的账单。16M 模型 × 昇腾 NPU 的总成本可能只有 1/100。
4. 可移植性：16M 模型可以塞进任何昇腾 310 边缘设备、任何数据中心的预处理 worker 节点，不依赖 H100/H200 集群。

3.3 真正改变的是什么

DataDecide-16M 的真正意义不在于它「判得准」，而在于它把**「数据质量评分」从「研究行为」降维成了「工程行为」。当打分便宜到这个程度，质量评分就可以全量在线**——不再抽测、不再小批量、不再依赖人工 spot check。

这对中训练尤其重要：因为中训练的数据是高度精选的（10% - 30% 命中率），如果你只能抽测，那 70% 被丢弃的数据里可能藏着「高价值稀有样本」。全量在线评分是「让中训练数据配方真正做到精细化调度」的前提。

---

四、行业影响：配方时代的三个不可逆趋势

4.1 「中训练」会成为技术报告的标配段落

2024-2025 年的模型技术报告里，「中训练」还只是少数派（Meta、Mistral）的非正式表述。2026 年随着蚂蚁 Ling-2.6、Qwen3、DeepSeek V4 等团队相继把 mid-training 单列章节，「中训练」会成为 2027 年技术报告的标配段落，就像 2024 年的「后训练」一样。

这意味着团队组织结构也会变：Mid-Training 团队会从 Pre-Training 团队里独立出来，专门负责数据配方、上下文窗口调度、能力专精。

4.2 数据团队需要补三个新能力

如果你的团队还在按「数据工程师 + 数据分析师」配置，那 2026 H2 就要开始补人了：

1. 算法调度能力：能写 functional scaling law 实验、能跑 grid search p(t)/b(t) 联合调度——这是 DSR 论文给数据团队的新 KPI。
2. 轻量模型训练能力：能用 10M-100M 参数规模训练专用质量判官，对齐到自家高质量基准——这是 DataDecide 模式。
3. 多窗口评测能力：能在 4K / 32K / 256K 多窗口下分别评测同一份数据配方——这是中训练的核心验收标准。

4.3 算力分配会从「pretraining 占 90%」变成「pretraining 70% + mid-training 20% + post-training 10%」

蚂蚁 Ling-2.6 的 9.6T tokens 里，1.2T 用在中训练（12.5%）已经是个早期信号。当 256K 长上下文成为 Agent 的默认配置时，中训练占比会进一步上升到 20%-30%。这意味着 2027 年的算力预算表会多出一栏「Mid-Training Compute」，而它的核心变量不再是「多少 token」，而是「多少 token × 在哪个上下文窗口 × 与哪个学习率耦合」。

---

五、未来展望：调度层、数据市场与「数据-算力-能力」三角

5.1 数据市场的供需关系会改写

DataDecide 模式一旦普及，「高质量数据」这个商品会分裂成两个不同的市场：

• 原料市场：Common Crawl 等 PB 级原始语料，价格继续下降，因为打分类器已经普及。
• 配方市场：带 mid-training 配方的「数据 + 调度 + 评测」打包服务，价格反而上升，因为配方是不可复制的 know-how。

这就像云计算里 IaaS（裸资源）和 SaaS（带行业方案）的分层——清单可以白嫖，配方需要付费。

5.2 「数据-算力-能力」三角出现新平衡

过去 4 年的 scaling law 范式是：「算力 ↑ + 数据 ↑ = 能力 ↑」。但 mid-training 和 DSR 论文告诉我们，真正的杠杆点在「数据 × 算力的时序耦合」。

一个新的隐含 scaling law 正在浮现：

能力 ∝ 算力^α × 数据^β × 调度质量^γ

其中 γ 可能比 α 和 β 都大。这意味着未来 18 个月，决定模型上限的不是「多少卡」也不是「多少 token」，而是「调度质量」——也就是团队的 mid-training 配方工程能力。

5.3 三个待解的开放问题

1. 多目标调度：当高质量数据同时涉及「数学 / 代码 / Agentic / 多语言」多个目标时，p(t) 如何在多个维度上联合调度？DSR 论文目前只处理单一质量维度。
2. 冷启动发现：如何自动发现「尚未被标注但实际有高价值」的数据？DataDecide-16M 只能对已有基准打分类，发现不了新价值。
3. 长上下文与 mid-training 的耦合理论：32K / 256K 上下文下的 mid-training 最优调度与 4K 下是否同构？目前没有严格答案。

---

结论：把数据工程当算法做，不是当体力活做

2026 年 6 月这三件事——蚂蚁 Ling-2.6 的 1.2T tokens 中训练管线、DSR 论文的闭式最优调度、AllenAI DataDecide-16M 的轻量级质量判官——共同标志了大模型数据工程的「第二次范式跃迁」。

第一次跃迁（2020-2024）回答的是「要什么数据」，从「抓得多」到「抓得准」。 第二次跃迁（2025-2026）回答的是「何时喂、怎么喂、谁来打分」，从「清单」到「配方」。

对一个 2026 H2 还在「拼数据源清单」的团队来说，这三条信号的提示很清楚：

• 不要把所有算力都砸在 pretraining：留 15%-20% 给 mid-training，但前提是你有 DSR 这样的调度理论。
• 不要再用 7B 模型打分：找一组合适的 10M-100M 专用分类器，全量在线评分是基础。
• 不要再相信「经验配比」：每条配比主张都需要 functional scaling law 检验，否则就是「现代占星术」。

数据工程的下半场，不是体力活，是算法活。而这个转变，刚刚开始。

---

参考来源

• 蚂蚁 Ling-2.6-1T 技术报告（2026-06-13 挂 arXiv，2026-06-16 官方发布）：arXiv:2606.15079, Ling and Ring 2.6 Technical Report: Efficient and Instant Agentic Intelligence at Trillion-Parameter Scale，HuggingFace Model Card: inclusionAI/Ling-2.6-1T-base，蚂蚁开发者文档
• DSR 论文：arXiv:2605.25698（2026-05-25 v1），How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws，作者：Zhitao Zhu, Xili Wang, Shizhe Wu, Jiawei Fu, Xiaoqing Liu
• DataDecide 套件：AllenAI, GitHub: allenai/DataDecide, 官方博客, Modelers.cn 华为昇腾（DataDecide-fineweb-pro-16M / DataDecide-falcon-and-cc-16M 等 16M 变体于 2026-04 发布）