数据论文速递 · Vol.73

数据论文速递 · 2026年07月11日

本期聚焦预训练数据精炼与能力控制：从函数调用式编辑 UltraX 到梯度路由模块化预训练 GRAM，从 token 分类数据策展 SelecT 到推理计算左移数据合成 Selective Left-Shift

论文速递 arXiv 预训练数据精炼 数据策展 token分类 模块化预训练 数据合成 数据清洗 ACL 2026

引言

数据墙时代，“如何用好现有数据”比”如何获取更多数据”更加关键。本期速递聚焦预训练数据精炼与可控性的前沿进展——从函数调用式文本编辑框架 UltraX，到将数据精炼重构为 token 分类任务的 SelecT，再到通过梯度路由实现能力级访问控制的 GRAM，以及将推理计算”左移”为训练数据的 Selective Left-Shift。四篇论文共同指向一个趋势：数据工作的粒度正在从文档级、样本级走向 token 级和模块级，精细化和可控性成为核心议题。

UltraX：函数调用式大规模预训练数据精炼

论文信息：UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing | arXiv:2607.08646

核心问题：预训练数据精炼面临”质量-效率-可靠性”不可能三角——规则方法受固定启发式限制，LLM 生成方法虽质量高但效率低且不可靠，如何在大规模语料上实现实例级精细编辑？

关键发现：

  • 提出函数调用（function-calling）精炼框架，将编辑操作空间从传统的”删除+修改”扩展为”删除+修改+插入”，实现细粒度实例级编辑
  • 构建可靠的程序监督生成管线：数据集自适应 prompt 优化引导专家 LLM 生成端到端精炼文本，再通过行对齐映射（Line Alignment Mapping）和动态上下文替换（Dynamic Context Replacement）将原文-精炼文对转为结构化程序监督
  • 低置信度样本过滤 + 操作组合比例控制采样，稳定训练分布；滑动窗口预测 + 全局操作聚合 + 系统后处理，确保大规模执行的稳定性
  • 在所有语料上取得最高平均性能，且以更少的训练 token 匹配或超越基线

实践启示：UltraX 为”数据墙”困境提供了一条可行路径——不是获取更多数据，而是通过程序化编辑让每个 token 更有价值。函数调用范式的核心优势在于将 LLM 的生成能力与程序的确定性和可审计性结合，这对工业级预训练数据管线设计有直接参考意义。

SelecT：Token 分类实现高效预训练数据策展

论文信息：SELECting over Tokens: Curating Pre-training Data at Scale via Token Classification | Xin Tong, Weidong Zhang, Jiaang Li 等 | ACL 2026

核心问题：现有预训练数据清洗依赖样本级启发式规则，缺乏内容感知的细粒度噪声检测；生成式方法（如 ProX-C）虽能实现 token 级精炼，但计算成本过高且可能引入幻觉。如何兼顾 token 级精细度与大规模可扩展性？

关键发现：

  • 将数据精炼重构为 token 分类任务：对每个 token 判断”信息性”或”噪声性”，直接移除噪声 token
  • 相比生成式方法避免了输出幻觉，推理速度比 ProX-C 快 2.5 倍（即使模型参数量翻倍）
  • 在精炼语料上训练的模型平均超越原始数据训练 2%+，超越最佳启发式基线 1%+，同时多保留 17% 的 token
  • 在所有实验设置下性能均优于生成式 ProX-C

实践启示：SelecT 与 UltraX 形成互补——两者都追求 token 级精炼，但路径不同：SelecT 用分类”删”，UltraX 用函数调用”改+增”。分类式方法工程实现更简单、速度更快，适合作为大规模数据管线的第一道过滤；函数调用式方法更精细，适合作为质量提升的第二道工序。两者结合可能是未来预训练数据精炼的标准范式。

GRAM：梯度路由模块化预训练实现能力级访问控制

论文信息：Modular Pretraining Enables Access Control | arXiv:2607.08077

核心问题：AI 能力的双重用途困境——同一能力既可治病也可制毒。训练和部署多个不同能力的模型成本过高，如何用单一模型实现能力级访问控制？

关键发现：

  • 提出 GRAM（Gradient-Routed Auxiliary Modules），在预训练阶段添加辅助模块并通过选择性梯度更新诱导专业化
  • 推理时消融（ablate）特定模块即可移除对应能力，效果近似于用过滤数据训练的模型
  • 在病毒学、网络安全、核物理、专业代码等双重用途数据上验证：GRAM 能精准禁用目标能力同时保留其余能力，且比后处理式”遗忘”（unlearning）更抗微调恢复
  • Chinchilla 最优缩放分析（50M→5B）：随规模增大，数据过滤模型与完整数据模型在移除能力上的差距拉大、保留能力上的差距保持极小，GRAM 紧密跟踪数据过滤效果
  • 5 个能力配置文件下训练成本仅为数据过滤方案的 1/5

实践启示：GRAM 从预训练数据架构层面重新定义了”数据过滤”——不是在数据侧过滤，而是在模型侧通过模块化路由实现等价效果。这对需要合规部署的场景（如医疗、安全敏感领域）具有重大实用价值：一次训练、按需裁剪，比”训练多个专用模型”或”事后遗忘”都更高效、更可靠。

Selective Left-Shift：将推理计算”左移”为低资源语言训练数据

论文信息：Selective Left-Shift: Turning Test-Time Compute and Difficulty-based Curation into Training Data for Low-Resource Code Generation | arXiv:2607.07748

核心问题：低资源编程语言（如 Julia、Ballerina）的 LLM 代码生成面临三难困境——SFT 受限于数据稀缺，推理时扩展计算成本过高，RL 从零训练收益近零。如何突破？

关键发现：

  • 提出”左移”（left-shift）策略：将推理时计算转移到离线数据合成引擎，利用编译器和测试反馈迭代生成验证过的训练样本
  • 三阶段管线解耦语法习得与算法推理：① 离线合成验证数据 → ② SFT 嵌入语法先验 → ③ RLVR（可验证奖励 RL）以语言无关的 I/O 测试为奖励信号
  • 在 Qwen3-8B 上，Julia MultiPL-E pass@1 提升 +7.6，Agnostics LiveCodeBench 提升 +14.2，仅用前 SOTA 1/3 的数据和 1/6 的成本
  • 泛化至预训练表示近零的 Ballerina 语言，取得 49.7% MultiPL-E Pass@1
  • 消融实验证实 SFT 阶段和执行验证奖励均不可少

实践启示：“左移”是一种高效的数据合成范式——不是在线推理时消耗更多计算，而是将计算预投入到数据生产阶段。对低资源语言/领域，这意味着可用编译器/测试/模拟器等”执行验证”信号自动生成高质量训练数据，极大降低人工标注成本。核心理念可推广至任何有验证机制的低数据场景。