数据选择的新范式：从「一次过滤」到「边训边选」
系统解读预训练数据选择方法论的代际跃迁——从 DSIR 的静态重要性采样、QuRating 的多维质量打分，到 MATES/GREATS/DWM 的在线动态选择，再到 RLPT 用强化学习直接从旧数据中榨取新知识
本期主题：谁来决定模型”吃什么”？
预训练数据工程有一个核心问题被反复追问：从 Common Crawl 的万亿 token 中，哪些该喂给模型，哪些该丢掉？
长期以来，答案是”基于规则过滤”——用正则表达式去广告、用 perplexity 阈值卡质量、用 MinHash 做去重。FineWeb、DCLM-Baseline 这些标杆数据集，本质上都是在 Common Crawl 上叠加越来越精细的规则过滤器，把 90% 以上的数据丢弃，留下”精华”。
但规则过滤有一个根本性局限：它不知道模型需要什么。
一条关于量子力学的科普文章，对一个刚开始预训练的模型可能太难；但对一个已经训练了 1T tokens 的模型，又可能太简单。一段充满拼写错误的 Reddit 帖子，从”自然语言质量”看该被过滤，但其中可能包含了某个稀缺领域的关键知识。过滤器的判断是静态的，而模型的需求是动态的。
2023-2026 年，一条清晰的技术路线正在浮现——从静态过滤到动态选择，从”一次性决定数据集”到”让模型在训练过程中决定下一步该学什么”。本期系统梳理这条路线上的关键工作。
一、静态选择的基石：DSIR 与 QuRating
在讨论”动态”之前，先理解”静态”做到了什么——因为动态方法的对比基线几乎都是这两个。
1. “Data Selection for Language Models via Importance Resampling” (Stanford / NeurIPS 2023)
来自 Stanford（Sang Michael Xie, Shibani Santurkar, Tengyu Ma, Percy Liang）
DSIR 是静态数据选择方法的奠基性工作，它将问题形式化为：如何从大规模原始数据中，采样出分布最接近目标数据的子集？
核心思路：重要性重采样
DSIR 的管线：
步骤 1：定义目标分布
目标数据集 = Wikipedia + 书籍（通用预训练场景）
= 领域特定语料（持续预训练场景）
步骤 2：在降维特征空间中估计重要性权重
┌──────────────────────────────────────────────┐
│ 原始文本 → Hashed n-gram 特征（降维） │
│ 估计 p_target(x) / p_raw(x) 的密度比 │
│ 得到每条数据的重要性权重 w(x) │
└──────────────────────────────────────────────┘
步骤 3：按权重重采样
权重高的数据被选中概率更大
→ 输出子集分布趋近目标分布关键结果：
| 场景 | 提升 | 对比基线 |
|---|---|---|
| 通用预训练（目标=Wikipedia+书籍） | GLUE +2.0-2.5% | 随机选择 + 启发式过滤 |
| 领域特定持续预训练 | 匹配专家人工策展 | 8 个目标分布上的表现 |
| 效率 | 4.5 小时处理完整 Pile | 选出 1 亿文档 |
核心指标：KL Reduction
DSIR 定义了 KL reduction——衡量所选数据与目标数据在 hashed n-gram 特征空间上的接近程度。在 8 种数据选择方法的对比中，KL reduction 与下游准确率的相关系数达到 r=0.82。
对实践的启示：
DSIR 的价值在于它把数据选择从”拍脑袋”变成了”有数学保证的优化问题”。但它有两个根本性限制：
- 需要预定义目标分布。你必须先知道”好数据长什么样”，才能选出接近的数据——这是个鸡生蛋的问题
- 一次性的。数据集选好就固定了，不会随模型训练进度调整
2. “QuRating: Selecting High-Quality Data for Training Language Models” (Princeton / ICML 2024)
来自 Princeton NLP（Alexander Wettig, Aatmik Gupta, Saumya Malik, Danqi Chen）
如果说 DSIR 回答的是”选什么分布的数据”，QuRating 回答的是”什么是好数据”——而且给出了一个远比 perplexity 更细腻的答案。
四个质量维度：
传统方法：质量 = f(perplexity)
→ 一个数字概括一切，粗糙
QuRating：质量 = (写作风格, 专业深度, 事实密度, 教育价值)
→ 四维向量，分别捕捉不同层面
┌──────────────────────────────────────────────┐
│ 维度 1：Writing Style（写作风格） │
│ → 文本是否流畅、语法正确、结构清晰 │
│ │
│ 维度 2：Required Expertise（专业深度） │
│ → 阅读该文本需要什么水平的背景知识 │
│ │
│ 维度 3：Facts & Trivia（事实密度） │
│ → 文本包含多少具体的、可验证的信息 │
│ │
│ 维度 4：Educational Value（教育价值） │
│ → 文本能否有效传达知识？综合评估 │
│ → ★ 实验中最有效的单一维度 │
└──────────────────────────────────────────────┘QuRater 模型的构建：
- 让 LLM 做成对比较（“A 和 B 哪个写作风格更好？”）
- 用 Bradley-Terry 模型将成对比较转化为标量评分
- 用小模型蒸馏，对 260B tokens 语料库全量打分
最反直觉的发现：Top-K 选择不是最优的
直觉：选教育价值最高的 Top 10% 数据
实际：性能反而下降
原因：
┌──────────────────────────────────────────────┐
│ Top-K 选择 → 数据分布过于狭窄 │
│ → 丧失多样性 → 模型泛化能力下降 │
│ │
│ 更好的做法：质量评分作为 logits │
│ p(选中) ∝ exp(quality_score / temperature) │
│ │
│ temperature 调控质量-多样性平衡： │
│ · 低温：更偏向高质量（牺牲多样性） │
│ · 高温：更均匀采样（牺牲质量） │
│ · 最优温度：实验确定 │
└──────────────────────────────────────────────┘核心结果：基于教育价值维度采样的 30B tokens 训练 1.3B 模型，等效于用全量数据多训 50% 步数——换言之，好的数据选择让”数据效率”直接提升了 1.5 倍。
对实践的启示：
QuRating 最重要的贡献是证明了两件事：
- “质量”不是一维的。perplexity 和分类器评分都是一维投影，会丢失关键信息
- 质量和多样性之间存在张力。纯选”最好的”反而不如按概率采样——这对所有数据选择方法都是一个警示
但 QuRating 仍然是静态的：260B tokens 打一次分，之后不再更新。
二、动态选择的突破：让模型告诉你它需要什么
3. “MATES: Model-Aware Data Selection for Efficient Pretraining with Data Influence Models” (CMU / NeurIPS 2024)
来自 CMU（Zichun Yu, Spandan Das, Chenyan Xiong）
MATES 是动态数据选择的里程碑工作——它首次提出了一个完整的框架，让数据选择随模型训练进度自适应调整。
核心问题：模型在训练不同阶段需要不同的数据
静态方法的假设：
好数据 = 好数据，不管模型处于什么训练阶段
MATES 的观察：
┌──────────────────────────────────────────────┐
│ 训练初期（0-100B tokens） │
│ 模型需要：高频、常见、结构清晰的文本 │
│ → 建立基本语言能力 │
│ │
│ 训练中期（100B-500B tokens） │
│ 模型需要：领域多样、难度适中的文本 │
│ → 扩展知识广度 │
│ │
│ 训练后期（500B+ tokens） │
│ 模型需要：高难度、低频、专业性强的文本 │
│ → 推动能力边界 │
│ │
│ 静态选择无法捕捉这种演化 │
└──────────────────────────────────────────────┘MATES 的三步循环：
┌─────────────────────────────────────────────────────┐
│ │
│ 步骤 1：局部探查（Probe） │
│ 从正在训练的模型中采样少量数据的梯度信息 │
│ → 获得当前阶段的"Oracle 数据影响" │
│ │
│ 步骤 2：训练数据影响模型 │
│ 用小模型拟合 Oracle 数据影响 │
│ → 将探查结果泛化到整个语料库 │
│ │
│ 步骤 3：预测 + 选择 │
│ 数据影响模型对全量语料打分 → 选出最具影响力的数据 │
│ → 用选出的数据训练下一阶段 │
│ │
│ ↻ 重复：随着训练推进，数据影响模型持续更新 │
│ │
└─────────────────────────────────────────────────────┘实验结果（在 C4 数据集上预训练 410M 和 1B 模型）：
| 指标 | MATES vs 随机选择 | MATES vs SOTA 静态方法 |
|---|---|---|
| 平均零样本准确率（410M） | +1.3% | 性能提升翻倍 |
| 平均零样本准确率（1B） | +1.5% | 同上 |
| 达到相同性能的 FLOPs | 减少 50% | — |
对实践的启示：
MATES 的核心洞察是：数据选择应该是训练循环的一部分，而不是训练的前置步骤。50% 的 FLOPs 节省意味着，花相同的计算预算可以训练一个更好的模型。
但 MATES 的局限也很明确：
- 探查开销。需要定期暂停训练来收集梯度信息
- 额外模型。需要维护一个持续更新的数据影响模型
- 实验规模有限。410M-1B 的实验还不足以验证 7B+ 规模的可扩展性
4. “GREATS: Online Selection of High-Quality Data for LLM Training in Every Iteration” (Princeton / Virginia Tech / NeurIPS 2024)
来自 Princeton / Virginia Tech（Jiachen T. Wang, Tong Wu, Dawn Song, Prateek Mittal, Ruoxi Jia）
如果 MATES 是”每几个 epoch 更新一次数据选择”，GREATS 则走到了极致：在每一个训练迭代中，实时选择最有价值的数据子集。
核心方法：贪婪近似泰勒选择
GREATS 将每个 batch 的数据选择形式化为集合效用函数优化问题：
每次迭代的流程：
大批次 B_t（从训练集随机采样）
│
↓
对每个数据点计算边际增益：
┌──────────────────────────────────────────────┐
│ │
│ 边际增益 = 重要性 - 冗余性修正 │
│ │
│ 重要性 = g(z_i) · g(z_val) │
│ → 训练梯度与验证梯度的对齐程度 │
│ → 越对齐 = 对模型改进越有价值 │
│ │
│ 冗余性修正 = g(z_i) · H · g(z_已选) │
│ → 与已选数据的梯度相似度 │
│ → 越相似 = 越冗余 → 边际增益被扣减 │
│ │
└──────────────────────────────────────────────┘
│
↓
贪婪迭代选择 k 个数据点 → 送入训练这个设计同时优化了两个目标：选出对模型最有用的数据（重要性），同时避免选出一堆相似的数据（多样性）。
关键工程创新：Ghost Inner-Product
在线选择的致命瓶颈是计算成本——在每个迭代中额外做梯度内积运算，可能让训练速度减半。GREATS 提出了 ghost inner-product 技术，在不实例化任何模型大小向量的情况下计算成对梯度内积，将在线选择的额外开销控制在可接受范围内。
对实践的启示：
GREATS 代表了在线数据选择的理论最优方向——每一步都做最优决策。但它的实际应用面临挑战：
- 需要验证集梯度。如果验证集分布与真正的下游任务不匹配，选择质量会打折
- 工程复杂度。即使有 ghost inner-product，集成到现有分布式训练框架中仍不简单
- 大规模验证缺失。目前的实验仍然偏小规模
5. “LLM Data Selection and Utilization via Dynamic Bi-level Optimization” (华为诺亚方舟 + 中科院 / ICML 2025)
来自华为诺亚方舟实验室 / 中科院自动化所 / 南洋理工大学（Yang Yu, Kai Han, Hang Zhou 等）
DWM 提出了一个与 MATES/GREATS 不同的思路：不是选或不选，而是给每条数据一个连续的权重。
传统数据选择（硬选择）：
每条数据 → 二元决策（选 / 不选）
→ 不选的数据被完全浪费
DWM（软选择）：
每条数据 → 连续权重 w ∈ [0, 1]
→ 低质量数据权重低但仍参与训练
→ 保留了数据多样性
双层优化框架：
┌──────────────────────────────────────────────┐
│ │
│ 外层（更新 DWM） │
│ 目标：最小化验证集损失 │
│ → 学习"什么样的数据在当前阶段更有价值" │
│ │
│ 内层（更新主模型） │
│ 目标：最小化加权训练损失 │
│ → 用 DWM 输出的权重训练主模型 │
│ │
│ DWM 和主模型交替更新 → 持续适配 │
│ │
└──────────────────────────────────────────────┘核心发现：
- DWM 具有迁移性——在小模型上学到的权重模型，可以迁移到大模型上使用
- 与硬选择方法互补——DWM 可以在 DSIR 等方法选出的子集上再做软加权，叠加收益
- 揭示了训练动态——模型在训练初期偏好结构清晰的文本，后期偏好信息密度高的文本
对实践的启示：
DWM 的”软选择”思路解决了硬选择方法的一个根本矛盾：过滤太多丢失多样性，过滤太少引入噪声。用连续权重代替二元决策是一个优雅的中间路线。
更值得关注的是跨模型迁移性：如果权重模型可以从小模型迁移到大模型，那么数据选择的成本就可以在小模型上一次性摊销，这对工业级训练管线很有价值。
三、前沿方向：ACL 2025 最佳论文与强化学习新范式
6. “Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models” (上海 AI 实验室 + 华东师大 / ACL 2025 Best Theme Paper)
来自上海 AI 实验室 OpenDataLab + 华东师大（Xinlin Zhuang, Jiahui Peng, Ren Ma 等）
Meta-rater 斩获了 ACL 2025 最佳主题论文奖，它可以被理解为 QuRating 的进化版——同样是多维评估，但加入了自动权重优化。
QuRating 的局限：
四个维度各有评分 → 但如何组合？
→ 依赖人工调参或简单的温度采样
Meta-rater 的解法：
┌──────────────────────────────────────────────┐
│ │
│ 四个评估维度： │
│ ① 专业度 ② 可读性 │
│ ③ 推理能力 ④ 清洁度 │
│ │
│ + 自动权重优化（代理模型回归） │
│ │
│ 训练一个回归模型预测验证集损失 │
│ → 自动发现各维度的最优权重组合 │
│ → 不依赖人工调参 │
│ │
│ 关键差异：目标函数明确—— │
│ 最小化验证损失，而非最大化某个质量分 │
│ │
└──────────────────────────────────────────────┘实验结果：
| 指标 | Meta-rater | 对比 |
|---|---|---|
| 1.3B 模型收敛速度 | 2× 加速 | vs 基线数据 |
| 下游任务平均性能 | +3.23% | vs 基线数据 |
| 可扩展性验证 | 有效至 7.2B | 工业级规模 |
获奖理由（推测）：Meta-rater 之所以获得最佳主题论文，可能不仅仅因为技术贡献，还因为它代表了一种方法论的进步——将”数据选择”从直觉驱动推向了数据驱动。用代理模型自动搜索最优评分组合，比人工定义规则更具可复现性和可扩展性。
7. “Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining” (ICLR 2025)
来自多伦多大学 / IBM 等（Daouda Sow, Herbert Woisetschläger 等）
如果说 DWM 需要训练一个额外的权重模型，这篇 ICLR 2025 论文则提出了一个更轻量的方案：直接用样本的损失值作为权重信号。
核心思想：极简但有效
┌──────────────────────────────────────────────┐
│ │
│ 每个样本有一个损失值 L(x) │
│ │
│ 直觉：L 高 = 模型还没学会 → 应该加权 │
│ 实际：不完全如此 │
│ │
│ 关键发现： │
│ ★ 降低"冗余/无信息样本"的权重最有效 │
│ → loss 很低的样本 = 模型已经掌握 → 权重降低 │
│ → loss 很高的样本 = 可能是噪声 → 也降低权重 │
│ → 中间地带 = "刚好有挑战"的样本 → 权重最高 │
│ │
│ 类似课程学习，但完全在线、无需额外模型 │
│ │
└──────────────────────────────────────────────┘该工作在 7B 模型上验证了有效性，并提供了首个关于基于损失重加权对梯度优化收敛性影响的理论分析框架。
8. “Reinforcement Learning on Pre-Training Data” (腾讯混元, 2025)
来自腾讯混元团队（Siheng Li 等 36 人）
RLPT 代表了一个更激进的方向——不是选择数据，而是用强化学习从现有数据中提取更多价值。
传统视角：数据选择 = 选出"好"数据 → 训练
RLPT 视角：数据 = 不可再生资源，但可以"深度开采"
→ 同一份预训练数据，用 RL 可以学到更多
核心方法：Next-Segment Reasoning Objective
┌──────────────────────────────────────────────┐
│ │
│ 给定前文上下文 → 模型预测后续文本片段 │
│ │
│ 奖励 = 预测与真实后续的匹配度 │
│ │
│ 与标准 next-token prediction 的区别： │
│ · NTP：交叉熵损失，逐 token 监督 │
│ · RLPT：RL 奖励，段级推理，探索更长路径 │
│ │
│ → 模型被激励去"理解"文本的逻辑结构 │
│ 而不仅仅是"记住"下一个 token │
│ │
└──────────────────────────────────────────────┘在 Qwen3-4B-Base 上的绝对提升：
| Benchmark | 提升 | 类型 |
|---|---|---|
| MMLU | +3.0 | 通用知识 |
| MMLU-Pro | +5.1 | 进阶知识 |
| GPQA-Diamond | +8.1 | 研究级推理 |
| KOR-Bench | +6.0 | 韩语理解 |
| AIME24 | +6.6 | 数学竞赛 |
| AIME25 | +5.3 | 数学竞赛 |
对实践的启示：
RLPT 的意义在于它打开了一个全新的维度——数据选择和数据利用不是同一个问题。即使数据集固定了，通过改变”怎么学”（从监督学习到强化学习），仍然可以从相同的数据中提取出显著更多的知识。
在”数据墙”的背景下，这条路线尤其有价值：当高质量数据不够时，与其执着于找到更多好数据，不如想办法把现有数据学得更透。
数据选择技术演进全景
2023 ──────── 静态选择成型期
│
├─ DSIR (Stanford, NeurIPS 2023)
│ → 重要性重采样，需要预定义目标分布
│ → KL reduction 指标，4.5h 处理 Pile
│
└─ DCLM (ML Foundations, NeurIPS 2024 Dataset)
→ 240T token 候选池 + 标准化评测
→ 数据选择的"ImageNet"——竞赛化基准
2024 ──────── 多维评估 + 动态选择元年
│
├─ QuRating (Princeton, ICML 2024)
│ → 四维质量打分，质量-多样性平衡
│ → 教育价值维度最有效
│
├─ MATES (CMU, NeurIPS 2024)
│ → 数据影响模型，动态适配训练进度
│ → FLOPs 减半，首次实现"边训边选"
│
└─ GREATS (Princeton/VT, NeurIPS 2024)
→ 每迭代在线选择，贪婪泰勒近似
→ ghost inner-product 工程突破
2025 ──────── 工业级落地 + 新范式涌现
│
├─ Meta-rater (上海 AI 实验室, ACL 2025 Best Paper)
│ → 多维评估 + 自动权重优化
│ → 7.2B 规模验证，收敛速度 2×
│
├─ DWM (华为/中科院, ICML 2025)
│ → 软选择（连续权重），双层优化
│ → 跨模型迁移性
│
├─ Dynamic Loss Reweighting (Toronto/IBM, ICLR 2025)
│ → 极简方案：用损失值做权重，无额外模型
│ → 7B 规模 + 理论保证
│
└─ RLPT (腾讯混元, 2025)
→ 强化学习 × 预训练数据
→ 不选择数据，而是更深度地利用数据
→ GPQA-Diamond +8.1，数学 +6.6
2026 ──────── 在线重加权新前沿
│
└─ Rethinking Data Curation (ICLR 2026)
→ 在线重加权替代离线过滤
→ 7.2% 准确率/FLOP 提升
→ 趋势：数据选择完全融入训练循环数据选择方法决策指南
你的场景是什么？
│
┌────────────┼────────────┐
↓ ↓ ↓
从零预训练 持续预训练 数据预算极有限
│ │ │
↓ ↓ ↓
┌─────────┐ ┌─────────┐ ┌─────────┐
│ 数据量 │ │ 有目标 │ │ 同数据 │
│ > 1T? │ │ 领域？ │ │ 更多收益 │
└─────────┘ └─────────┘ └─────────┘
│ │ │ │ │
是 否 是 否 ↓
│ │ │ │ ┌─────────┐
↓ ↓ ↓ ↓ │ RLPT │
动态选择 静态 DSIR 多维 │ 在现有 │
MATES/ 够用 重要性 评估 │ 数据上 │
DWM 采样 Meta │ 做 RL │
rater └─────────┘
│ │
└────────┬───────┘
↓
┌──────────────┐
│ 工程实施路线 │
│ │
│ 入门： │
│ QuRating 打 │
│ 分 + 温度 │
│ 采样 │
│ │
│ 进阶： │
│ MATES 动态 │
│ 数据影响 │
│ │
│ 激进： │
│ GREATS 每 │
│ 迭代选择 │
└──────────────┘开源工具与资源
| 工具/项目 | 地址 | 说明 |
|---|---|---|
| DSIR | github.com/p-lambda/dsir | 重要性重采样，工业验证最充分 |
| QuRating | github.com/princeton-nlp/QuRating | 多维质量评估 + 评分模型 |
| MATES | github.com/cxcscmu/MATES | 动态数据影响模型 |
| GREATS | github.com/Jiachen-T-Wang/GREATS | 在线贪婪泰勒选择 |
| Meta-rater | github.com/opendatalab/Meta-rater | ACL 2025 最佳论文，含评分脚本和数据 |
| DCLM | github.com/mlfoundations/dclm | 240T 候选池 + 评测框架 |
| Dolma Toolkit | github.com/allenai/dolma | Allen AI 的数据策展工具包 |
本期思考
数据选择正在经历一次范式转移：从”训练前的一次性决定”变为”训练过程中的持续优化”。 这不仅仅是工程效率的提升，更是对”预训练”这件事的认知升级。
三个趋势值得关注：
第一，从硬选择到软加权。 DSIR 和 QuRating 做的是”选或不选”的二元决策。DWM 和 Dynamic Loss Reweighting 转向了连续权重。这意味着不再有数据被”浪费”——低质量数据仍然参与训练，只是贡献被降低。从 Vol.7 合成数据的讨论来看，这一点尤其重要：合成数据的质量参差不齐，软加权比硬过滤更适合处理这种连续谱。
第二，计算-数据的联合优化正在成为可能。 传统 Scaling Laws 将计算和数据视为独立的维度——给定计算预算，最优模型大小和数据量是多少？但 MATES 和 GREATS 引入了第三个维度：数据选择策略本身也消耗计算。MATES 的”FLOPs 减半”意味着，在相同的总计算预算下，将一部分计算投入到数据选择上，反而能训出更好的模型。这对 Chinchilla Scaling Laws 的经典结论是一个有意义的补充。
第三，“数据利用”可能比”数据选择”更重要。 RLPT 提出了一个根本性的问题：当数据墙真的到来时，我们是该继续执着于”找到更多好数据”，还是应该思考”如何从现有数据中提取更多价值”？next-segment reasoning objective 在 Qwen3-4B 上带来的 5-8 分提升，全部来自对已有预训练数据的重新利用——没有增加一个 token 的新数据。如果这个方向可以扩展到更大规模，它可能重新定义”数据工程”的边界。
对数据工程团队的建议：
- 立即可做：用 DSIR 或 QuRating 的教育价值维度替换当前的启发式过滤，预期 1.5-2× 的数据效率提升
- 中期投入：如果训练预算 > 10K GPU-hours，认真评估 MATES 的动态选择——50% 的 FLOPs 节省足以回报集成成本
- 前沿探索：关注 RLPT 方向。一旦成熟，它可能从根本上缓解数据获取的压力——不是找更多数据，而是把现有数据学得更深
下期预告：数据去重的深水区——从 MinHash 到语义去重，当「重复」不再是字面意思