从 Pipeline 到 Token：数据工程全链路的精细化升级
本期聚焦预训练数据管线的全链路优化——从 Web 数据处理 Pipeline 到 Tokenization 架构，从合成重写的质量放大效应到指令微调的神经元级数据选择
今日精选
本期共推荐 4 篇论文深度解读 + 3 篇快览，聚焦大模型数据工程全链路的精细化升级方向——从 Web 级预处理 Pipeline 的质量-规模再平衡，到合成重写的”乘数效应”机制，再到分词器对非拉丁文字的公平性问题，以及指令微调阶段的神经元级精准数据选择。
1. FLUX: Data Worth Training On
作者：Gowtham, Sai Rupesh, Sanjay Kumar, Saravanan, Venkata Chaithanya 链接：arXiv · PDF
核心发现：
FLUX 提出了一个全新的 Web 数据预处理 Pipeline，直指当前数据工程中最痛的取舍难题：质量控制与 Token 保留率不可兼得。现有的主流方案（如 DCLM、FineWeb）要么激进过滤导致大量可用 Token 被浪费，要么放松标准引入过多噪声。
FLUX 的核心设计理念是”严格质量控制 + 最大化 Token 保留”。实验结果令人瞩目：一个 3B 参数模型在 FLUX 策划的 600 亿 Token 上训练，MMLU 准确率达到 32.14%，超过了 DCLM (31.98%) 和 FineWeb (29.88%)。更关键的效率数据是——FLUX 仅需 390 亿 Token 就能达到 DCLM 全量数据的综合效果，节省了 34.4% 的训练计算量。在数据层面，FLUX 从单个 Common Crawl dump 中提取了 500 亿可用 Token，比 DCLM 的 400 亿多出 25%。
对数据工作的启示：
FLUX 的核心洞察对数据工程从业者极具参考价值：过滤不等于丢弃，清洗不等于删除。现有 Pipeline 中被激进过滤器丢弃的数据，很大一部分经过更精细的处理仍然可用。如果你正在构建预训练数据管线，建议（1）对过滤阶段做 Token 保留率审计，看看到底丢了多少潜在可用的数据；（2）考虑多级过滤策略，而非一刀切的质量阈值；（3）特别关注单个 dump 的深度挖掘——FLUX 证明了从同一批数据中可以比现有方案多提取 25% 的高质量 Token。
2. Synthetic Rewriting as a Quality Multiplier: Evidence from Portuguese Continued Pretraining
作者：Thales Sales Almeida, Rodrigo Nogueira, Hélio Pedrini 链接：arXiv · PDF
核心发现：
合成数据重写（用指令模型改写原始文档）是近年数据工程的热门技术，但一个关键问题一直没有被系统回答：重写的效果到底取决于重写本身，还是取决于被重写数据的原始质量？
本文以葡萄牙语持续预训练为场景，进行了一次严格的对照实验。他们从 ClassiCC-PT 语料库中构建了两个 100 亿 Token 的子集（高质量 vs 低质量），分别用 7B 指令模型重写为四种风格，共产生约 400 亿 Token 的合成数据。在 7B 规模模型上的结果非常清晰：重写高质量数据带来 +3.4 NPM 提升，而重写低质量数据仅带来 +0.5 NPM 提升。有趣的是，在 1.1B 小模型上，这种差异变弱，未重写的低质量数据甚至与重写后的高质量数据表现相当。
结论是：合成重写是质量的”乘数”而非”替代品”，而且这个效应是模型规模依赖的。
对数据工作的启示：
这篇论文给出了一个非常实用的决策框架：在资源有限时，先投入精力做好数据筛选和质量分层，再考虑合成重写，而不是反过来。如果你的原始数据质量就不高，花大量算力去重写它的 ROI 很低（尤其是在训练 7B+ 规模模型时）。建议将合成重写视为数据管线的”增益层”——它放大好数据的效果，但无法拯救差数据。此外，1.1B 和 7B 的差异提醒我们：在小模型上验证的数据策略不一定在大模型上成立。
3. NAIT: Neuron-Aware Data Selection in Instruction Tuning for Large Language Models
作者：Xin Chen, Junchao Wu, Shu Yang, Runzhe Zhan, Zeyu Wu, Min Yang, Shujian Huang, Lidia S. Chao, Derek F. Wong 链接：arXiv · PDF
核心发现：
指令微调（Instruction Tuning）的数据选择一直依赖外部评分模型或基于不确定性的方法，这些方法要么成本高昂，要么缺乏对模型内部机制的理解。NAIT 提出了一个全新视角：直接分析模型神经元的激活模式来指导数据选择。
具体做法是：先在目标能力的种子数据集上捕获神经元激活特征（这些特征是可重用和可迁移的），然后根据候选训练样本与目标能力激活特征的相似度来筛选数据。实验显示，仅使用 NAIT 选出的 10% Alpaca-GPT4 数据进行训练，就能在多个任务上超过使用外部强模型打分的方法。
更有趣的发现是关于数据特性的可迁移性：含有更多逻辑推理和编程特征的指令数据具有最强的通用迁移能力，能够同时提升模型在多个不同任务上的表现。同时存在一个”核心稳定子集”，足以持续激活模型的基础能力。
对数据工作的启示：
NAIT 对数据工程实践的启示是多层次的：（1）数据选择应该”以模型为中心”——不同模型对同一批数据的需求不同，好的数据选择方法应该考虑模型的内部状态；（2）如果你在构建通用指令微调数据集，优先保证逻辑推理和代码类数据的质量和比例，因为它们的迁移效应最强；（3）10% 数据 → 超越全量训练的结果，再次证明了”少而精”在 SFT 阶段的可行性——这对算力有限的团队是个好消息。
4. Separate Before You Compress: The WWHO Tokenization Architecture
作者：Kusal Darshana 链接：arXiv · PDF
核心发现：
当前主流 LLM 的 BPE 分词器对英语等拉丁字母效果极佳，但对僧伽罗语、天城文等复杂 Abugida 文字系统存在严重问题——它们会把有意义的音节（多码点字形簇）拆成无意义的子单元，迫使模型在推理时学习基础正字法结构，造成严重的效率损失，作者将其称为”Token 税”。
WWHO（Where-What-How Often）是一个三层分词架构，核心思想是将语言学规则与统计压缩过程分离。配合新提出的 SGPE（音节感知字形对编码）算法，在僧伽罗语上实现了 1.274 的词符比，相比 OpenAI o200k_base 减少了 61.7% 的 Token 数量；在印地语上减少了 27.0%。在混合脚本数据集上，相比 OpenAI、Llama 4 Scout 和 DeepSeek V3 的分词器分别减少了 36.7%、39.6% 和 60.2% 的 Token。这意味着对这些语言，有效上下文窗口扩大了最多 4.38 倍。
对数据工作的启示：
对于做多语言数据工程的团队，这篇论文揭示了一个常被忽视的数据效率瓶颈：分词器的不公平性。如果你的模型需要支持南亚、东南亚的 Abugida 文字，当前通用分词器可能在这些语言上浪费了 30-60% 的上下文窗口。建议（1）对你的分词器做多语言 Token 效率审计；（2）对于重点支持的非拉丁语言，考虑引入语言学感知的分词层，在 BPE 压缩之前先做音节级分割；（3）评估数据成本时，要把 Token 效率差异纳入计算——同样的 Token 预算，在不同语言上的”实际信息量”可能差距巨大。
今日快览
| 论文 | 机构 | 亮点 |
|---|---|---|
| GneissWeb: Preparing High Quality Data for LLMs at Scale | IBM Research (ICLR 2026) | 10 万亿 Token 的高质量预训练数据集，采用分片精确子字符串去重 + 多过滤器集成，比 FineWeb 平均高 2.73 个百分点 |
| From Demonstrations to Rewards: Alignment Without Explicit Reward Models | — | 提出无需显式奖励模型的对齐方法，从演示数据直接学习偏好，降低了 RLHF 对标注数据的依赖 |
| Measuring What Matters: Robustness of LLM-Based Scoring Systems | — | 系统评估 LLM 评分系统对”构建无关因素”的鲁棒性，对使用 LLM 做数据质量评分的场景有重要参考 |
编者按
本期论文恰好覆盖了大模型数据工程的全链路——从最上游的 Web 数据采集处理（FLUX），到中间的合成增强（Synthetic Rewriting），到数据表示层的分词优化（WWHO），再到最下游的指令微调数据精选（NAIT）。一个清晰的趋势正在浮现：数据工程正在从”大而全”走向”精而准”。FLUX 证明了不必牺牲规模也能保证质量，合成重写论文提醒我们增强手段不能替代源头质量，NAIT 则展示了用模型自身信号指导数据选择的新范式。对于数据工程从业者而言，2026 年的关键词可能是”全链路精细化”——每个环节都有 2-3x 的效率提升空间，而这些提升是可以叠加的。