数据工程观察 · 2026年07月20日

引言

本期聚焦四大方向：数据精炼方法论从”生成”走向”分类”——ACL 2026 发表的 SelecT 将预训练数据精炼重构为 token 分类任务，效率与质量双重突破；开放合成数据集进入”通用预训练”新阶段——Pleias 联合 AI Alliance 发布 SYNTH，首个面向小型推理模型的端到端合成预训练语料；国家级语料基础设施全面提速——WAIC 2026 语料创新论坛发布 12 万高质量数据集、中科院”敖仓”科技语料库等七项成果；预训练数据设计重塑模型认知范式——KLLM 通过匿名化命名实体抑制参数化事实记忆，检索增强场景提升 20-25%。

---

SelecT：Token 分类器颠覆预训练数据精炼范式

事件概述

ACL 2026（7 月，圣迭戈）发表 SelecT（SELECting over Tokens），首次将大规模预训练数据精炼重构为 token 二分类任务——对每个 token 判断”有信息量”或”噪声”并移除后者。该方法由字节跳动团队完成。

技术细节

• 核心创新：现有精炼方法分两类——启发式规则仅在样本级操作、粗粒度统计指标缺乏内容感知；生成式方法（如 ProX-C）通过合成 Python 代码做 token 级改写，但计算成本过高且可能引入幻觉。SelecT 将”精炼”问题转化为”分类”问题：训练分类器对每个 token 做二分类判断，确定性移除噪声 token，无需生成任何新文本。
• 性能优势：在多种下游基准上，SelecT 精炼语料训练的模型平均超原始数据 +2%、超最优启发式基线 +1%（同时多保留 17% token），且在所有实验设置下性能均优于生成式 ProX-C。
• 效率突破：推理速度比 ProX-C 快 2.5×（即使模型参数量为 2 倍），确保 PB 级语料的精炼可行性。
• 意义：预训练数据精炼从”生成-替换”范式转向”判别-筛选”范式，与 UltraX（函数调用式编辑）形成互补——SelecT 更轻量高效，UltraX 更精细可控。

对大模型数据工作的影响

SelecT 为数据受限场景提供了一条高效精炼路径：无需昂贵的大模型推理，一个轻量分类器即可实现 token 级精炼。这将使中小团队也能负担 PB 级语料的质量优化，有望成为预训练数据管线的标配环节。其”分类替代生成”的思路也可能启发后训练阶段的数据筛选方法。

---

SYNTH：首个全开放通用合成预训练数据集

事件概述

法国 AI 实验室 Pleias 联合 AI Alliance（IBM、Meta 等发起）发布 SYNTH——首个面向小型推理模型端到端训练的全开放通用合成数据集。包含 79,648,272 条独立文本样本，总字数超 410 亿（约 750 亿 token）。

技术细节

• 种子来源：以 Wikipedia 重要条目 Level 5（50,000 篇）为核心，扩展 8,698 篇专业领域文章（法律/医学/化学）、3,727 篇 Wikibooks 烹饪教材、130 条内部近期/自知识文本。
• 合成管线：借鉴 RAG 应用的合成方法——从原始文章选取一致性段落→生成带随机约束的查询→合成练习（涵盖 RAG、创意写作、算术、信息抽取等）→所有生成答案附带中间推理轨迹。
• 全开放：种子文本采用 CC-BY-SA 许可，生成模型支持输出复用——SYNTH 可全域发布并作为可复现合成流水线基础。
• 数据高效：仅需 1000-2000 亿 token 即可获得最佳效果，远少于传统 web 语料的训练需求。
• 多语言：约 20% 文本为非英语（德/法/西/意/波兰/荷兰/拉丁语）。
• 基准性能：训练的 Baguettotron（321M）达 sub-400M 模型 SOTA（MMLU 40%，GSM8K 39%，HotPotQA 51%）；Monad（56.7M）实现 MMLU ~30% 的最小可用通用模型。

对大模型数据工作的影响

SYNTH 证明了”小模型 + 合成语料”可以替代”海量 web 爬取”的训练范式。对端侧/边缘模型开发者而言，这是一个可直接使用的端到端预训练语料，无需自行搭建复杂的合成管线。其”受控记忆通过工程化合成”的方法论，也挑战了 web 爬取作为预训练数据唯一来源的传统假设——当合成语料可以精准控制知识覆盖率和推理密度时，数据质量不再被爬取规模绑架。

---

WAIC 2026 语料创新论坛：国家级语料基础设施全面提速

事件概述

7 月 18 日，WAIC 2026”语料筑基·智生时代”语料创新论坛集中发布七项成果。国家数据局局长刘烈宏宣布：截至 6 月底，全国已建成高质量数据集 12 万个，总体量超 1565PB；七个数据标注先行先试城市标注规模超 119PB，服务 425 个大模型研发。

技术细节

• 语料运营公共服务平台 2.0：首创”筛选—转换—合成”三层十级数据进化路线，集成 Kupas Camp 语料 FDE 工程平台、老师傅语料工程化平台和”语匠”专家众包网络。
• 中科院”敖仓·科技语料库”：由中科院文献情报中心牵头，联合近百家单位建设。采用”1+7+N”总分库模式（1 个全学科总库 + 7 个领域分库 + N 个应用子库），覆盖数学物理、化学化工、天文空间、地球科学、生命科学、前沿技术、产业创新全学科。高知识密度语料可补齐大模型领域知识短板、校准逻辑推理偏差。
• 行业标准：新增 15 项团体标准和 2 项行业标准，覆盖高端装备、消防、医疗专病、合成数据和大模型数据集开发管理等方向。
• “DARE GO”高价值语料征集：面向各行业征集专业难题，探索”专家出题—社会答题—模型验证—价值回流”持续机制。

对大模型数据工作的影响

从”卷算法卷算力”到”卷数据”的战略转向正在中国快速落地。1565PB 高质量数据集、119PB 标注数据、425 个大模型服务的规模，意味着国内数据供给已从实验性走向体系化。“三层十级数据进化路线”的概念将数据从静态资产转变为可持续迭代的基础设施，其”筛选-转换-合成”三阶段方法论与 UltraX/SelecT 等学术进展形成呼应。“敖仓”科技语料库的全学科覆盖也填补了 AI4S 领域高质量中文科技语料的长期空白。

---

KLLM：匿名化实体预训练重塑 RAG 范式

事件概述

arXiv:2607.12831（7 月 14 日提交）提出 KLLM（Knowledge-”Less” Language Models），通过在预训练语料中匿名化命名实体，系统性抑制模型的参数化事实记忆，使模型在检索增强场景下获得 20-25% 的相对性能提升。

技术细节

• 核心干预：在预训练阶段将语料中的命名实体替换为匿名化标记（如”PERSON_42""ORG_17”），移除实体链接的事实监督信号，使模型无法通过参数记忆特定事实。
• 性能表现：多规模模型上，KLLM 在上下文问答、事实验证、幻觉检测基准上一致优于匹配基线。在检索增强场景中，即使证据不完美，KLLM 仍获 20-25% 相对增益。
• 校准改进：ECE、Brier 分数、AUROC 均有改善，且模型展现出更可靠的”弃答”行为。
• 认知范式转变：KLLM 促使模型从”我知道”转向”我来查”——参数知识被抑制后，模型更依赖外部证据推理。

对大模型数据工作的影响

KLLM 提出了一个根本性命题：预训练数据的”信息完整度”是否应与模型的”知识获取”目标完全对齐？对于 RAG-first 架构和工具增强智能体，过度参数化记忆反而是负担——它导致模型”自信地犯错”而非”求助于工具”。这种”数据设计决定认知范式”的思路，为面向检索增强场景的预训练数据工程提供了全新方向。结合 CausalMix 的因果推断数据混合、SelecT 的 token 级精炼，预训练数据工程正在从”清洗-过滤-混合”三步走，进化为”清洗-过滤-混合-信息设计”四维体系。