数据论文速递 · 2026年05月18日

引言

数据工程正从单点优化迈向系统化设计。本期精选的五篇论文分别触及数据流水线的不同环节：从「选哪些样本」到「按什么配方组合」，从「用多少数据训练」到「如何定义域」，直至「以何种粒度（token vs byte）衡量数据量」——每一步选择都深刻影响最终模型表现。AutoSelection 将数据选择重构为配方搜索问题，PODS 揭示数据量振荡调度的隐式正则化效应，DoGraph 从梯度动力学重新定义「域」，CDVM 在低数据场景优化归因剪枝，Compute Optimal Tokenization 则从根本上质疑以 token 为单位的 Scaling Law 假设。五篇工作共同指向一个核心趋势：数据工程的优化对象正在从样本级评分扩展为系统级联合决策。

---

AutoSelection：从实例选择到固定池数据配方搜索

论文信息：From Instance Selection to Fixed-Pool Data Recipe Search for Supervised Fine-Tuning | arXiv:2605.12944

核心问题：SFT 数据选择通常被建模为实例排序（评分→保留 top-k），但实际高效训练子集往往由过滤、混合、去重等多步操作有序组合而成。将数据选择简化为单一评分忽视了操作间的交互效应——配方结构本身可能比单个选择操作更重要。

关键发现：

1. 配方搜索范式：提出「固定池数据配方搜索」（Fixed-Pool Data Recipe Search）问题形式化，将 SFT 数据选择从实例排序重构为在操作库中搜索可执行配方。
2. 双层求解器 AutoSelection：外层利用缓存的任务侧、数据侧、模型侧信号快速物化候选子集，内层通过 warmup 探针、已实现子集状态、局部配方编辑、高斯过程辅助排序和停滞触发重播种进行高效搜索，大幅减少全量 SFT 评估次数。
3. 配方结构 > 单操作：在 90K 指令池上，AutoSelection 在三个基座模型上均取得最强 ID 推理均值，超越全量训练、随机配方搜索和单操作选择器；消融实验证实配方结构确实带来独立于单操作的性能增益。
4. 跨规模迁移：1.5B→7B 的迁移验证表明，小规模上发现的优质配方可迁移至大规模模型。

实践启示：SFT 数据策展不应仅关注「选哪些样本」，更应关注「过滤-混合-去重」操作的最优编排。AutoSelection 的配方搜索框架为工业化数据流水线提供了一种可扩展、可迁移的自动化方案，尤其在多操作组合场景下有望显著减少人工调参成本。

---

PODS：超越「选什么」——振荡式数据量调度

论文信息：Beyond What to Select: A Plug-and-play Oscillatory Data-Volume Scheduling for Efficient Model Training | arXiv:2605.14773

核心问题：现有数据选择方法关注「选哪些样本」（sample importance），却通常固定「选多少样本」（选择比例）。方法在样本身份上动态、在数据量上静态——选择比例本身是否也应成为优化变量？

关键发现：

1. 隐式正则化效应：理论证明，选中数据训练会引入由瞬时选择比例 $p_t$ 调节的隐式正则化项 $R(p_t, \theta_t) \propto \frac{1-p_t}{p_t}\text{Tr}(HC)$，低比例放大正则化、高比例保持优化保真度——构成核心权衡。
2. 振荡调度 PODS：提出即插即用的振荡数据量调度框架，在目标总比例约束下交替执行「低比例正则化阶段」和「高比例恢复阶段」，自动确定振荡参数。
3. 广泛有效性：在 ImageNet-1k 上训练成本降低 50% 且精度提升 0.4%；LLM 指令微调（Qwen-2.5-7B、LLaMA-3.2-3B）加速 2x 以上且无性能下降；与现有静态/动态选择方法兼容叠加。
4. 任务无关设计：PODS 工作在比例层面，与样本评分标准正交，可适配不同优化器（Adam/SGD/LARS/LAMB）。

实践启示：数据选择的优化维度应从「选什么」扩展到「选多少、何时多选何时少选」。PODS 的振荡调度机制为 LLM 训练提供了一种零额外训练成本的正则化手段，尤其适合计算预算受限但追求泛化的场景。该工作也提示：数据量调度与学习率调度应联合设计。

---

DoGraph：从 LLM 视角重新思考数据混合

论文信息：Rethinking Data Mixing from the Perspective of Large Language Models | arXiv:2604.07963 | ACL 2026

核心问题：数据混合依赖「域」的定义，但三个基础问题悬而未决：什么是域？人类定义的域与模型感知的域是否对齐？域权重如何影响泛化？现有方法隐含假设人类定义的域边界与模型学习动态一致，这一假设是否成立？

关键发现：

1. 域感知的动态演化：PCA 可视化表明，训练初期不同域（C4/Wikipedia/ArXiv/Book）的梯度方向形成分离簇，随训练推进逐渐融合为近似各向同性分布——模型不断重塑其域感知，与人类定义产生错配。
2. 梯度-域形式化连接：建立梯度动力学与域分布的形式化联系，证明模型感知的域可通过梯度几何推断而非先验指定。
3. DoGraph 框架：将域调度建模为图约束优化问题——以模型感知的域为图节点，通过优化学习域权重，而非依赖人工启发式。
4. 一致竞争力：在多尺度 GPT-2 模型上，DoGraph 在性能和域平衡上均取得一致竞争力。

实践启示：预训练数据混合应从「人类定义域 → 手动调权重」转向「模型定义域 → 自动学权重」。DoGraph 的图约束框架为动态域发现与权重优化提供了理论基础，尤其适用于域边界模糊的多源异构语料场景。该工作也提示：数据混合的评测应增加域平衡性维度，而非仅看整体 loss。

---

CDVM：低数据场景下的约束数据归因剪枝

论文信息：Constraint-Data-Value-Maximization: Utilizing Data Attribution for Effective Data Pruning in Low-Data Environments | arXiv:2605.11312

核心问题：数据归因（Data Attribution）旨在将模型行为追溯到训练数据，常见基准是数据移除：删去低/高价值数据后评估模型性能。现有方法多基于 Shapley 值，但在仅保留少量数据的低数据场景下，Shapley 值并非最优剪枝准则。

关键发现：

1. Shapley 值的局限：Shapley 值衡量的是单样本的边际贡献，在低保留率下忽视了样本间的交互效应，导致剪枝后性能下降。
2. 约束优化建模：CDVM 将剪枝建模为约束优化——同时最大化总影响力并惩罚过大的单测试贡献，避免少数样本主导模型行为。
3. 低数据鲁棒性：在 OpenDataVal 基准上，CDVM 在小保留比例下表现稳健，运行时间具有竞争力。
4. 归因与剪枝的解耦：CDVM 的核心洞见是「归因值 ≠ 剪枝值」——适合归因的评分不一定适合剪枝决策，后者需额外约束。

实践启示：低资源场景（小语种、专业领域）的数据剪枝不能简单套用 Shapley 值排序，而应在约束优化框架下联合考虑总影响力和贡献均衡性。CDVM 的「约束归因」思路可扩展至更多数据策展场景——归因方法的适用性需根据下游任务（剪枝 vs 调试 vs 隐私）专门设计。

---

Compute Optimal Tokenization：Token 化如何重塑 Scaling Laws

论文信息：Compute Optimal Tokenization | arXiv:2605.01188

核心问题：Scaling Laws 指导数据量与模型大小的最优选择，但数据的基本单位——token——对这一关系的影响长期被忽视。以 token 为单位衡量的 Scaling Law 是否最优？压缩率（bytes/token）如何影响计算最优配置？

关键发现：

1. 参数量应与字节数而非 token 数成比例：在计算最优配置下，模型参数量与以字节（bytes）衡量的数据规模成正比，而非广为接受的 token 数——这对 Kaplan/Hoffmann 的经典 Scaling Law 构成根本性修正。
2. 最优压缩率 ≠ BPE 压缩率：BPE 分词器产生的 4.57 bytes/token 并非最优，且最优压缩率随计算量增加而下降——更大计算预算应使用更细粒度的 tokenization。
3. 988 个模型的大规模验证：训练 50M 至 7B 参数的 BLT（Byte Latent Transformer）模型，覆盖远超 BPE 范围的压缩率，结论在潜空间和子词 tokenization 以及非英语语言上均成立。
4. 实践指导：给定计算预算，存在最优的 tokenizer 压缩率，且该值通常低于标准 BPE——模型开发者应将 tokenizer 选择纳入 Scaling Law 优化范畴。

实践启示：Tokenizer 不再是预处理管道中的固定组件，而是影响计算最优性的关键超参数。对于大规模预训练，选择更细粒度的 tokenizer（更高 bytes/token）在足够计算预算下更优。该工作也意味着：不同规模的模型应使用不同压缩率的 tokenizer，而非一刀切地复用同一 tokenizer。

---

编者评

本期五篇论文勾勒出数据工程从「局部优化」走向「系统优化」的清晰脉络。AutoSelection 将选择问题升维为配方搜索，PODS 将优化变量从「选什么」扩展到「选多少」，DoGraph 将域定义权从人类交给模型，CDVM 区分了归因与剪枝的不同目标函数，Compute Optimal Tokenization 则将 Scaling Law 的基本度量单位从 token 下沉到 byte——每一步都是对既有范式的根本性反思。

特别值得关注的是两条交叉趋势：一是优化粒度的细化（从域级→样本级→操作级→字节级），二是优化对象的扩展（从数据本身→数据+超参→数据+tokenizer→数据+配方结构）。这意味着未来的数据工程将越来越像一种「元优化」：不仅优化数据，更优化优化数据的方式。对于大模型团队而言，建立可组合、可搜索、可迁移的数据配方系统，或许比寻找下一个单点数据选择算法更具战略价值。