数据工程观察 · Vol.88

数据工程观察 · 2026年07月22日

合成数据崩溃精准诊断、Token级后训练数据范式、临床语料冗余度量基准、全开放训练数据配方与预训练数据精炼登顶

数据工程 合成数据 模型崩溃 Token级训练 数据冗余 预训练数据精炼 全开放模型 数据策展 后训练 数据质量

引言

本期关注合成数据从”能不能用”走向”怎么用好”的关键转折。KITE 框架首次将合成数据崩溃诊断从”整体退化”细化到”能力极化”，为迭代式自进化训练提供了可操作的数据策展指南；TOPL 将后训练重构为 Token 级正确性预测任务，挑战了序列级偏好对齐的传统范式；Provenance-based Redundancy Decomposition 在生产规模上证明 LLM 生成语料 90% 是冗余的，建立了一套可推广的溯源分类度量体系；Aether-7B-5Attn 以单家创业公司之力达到了 OLMo 级全开放标准，训练数据配方可逐字节复现；UltraX 函数式预训练数据精炼登上 HuggingFace Trending 榜首，五个精炼语料库实证”编辑优于改写”。

KITE：合成数据迭代自进化不崩溃的精准策展框架

事件概述

arXiv:2607.17043（7月19日提交）提出 KITE（Knowledge-boundary Instruction Tuning via Exploration）框架，首次系统性解决合成数据迭代指令微调中的模型崩溃问题。核心发现：合成数据崩溃不是均匀的性能退化，而是能力极化——强化已有强项的同时进一步削弱弱项。

技术细节

KITE 采用两阶段管线：

  1. 失败引导数据生成（Failure-guided candidate bank）：针对当前模型的薄弱领域生成候选数据池，覆盖模型”不会”而非”已经很会”的能力边界
  2. 边界感知不确定性策展（Kernel Boundary Uncertainty, KBU）：基于核函数不确定性估计筛选训练数据，确保每批新增数据都落在模型当前能力边界附近

实验在多个数据集和开源 LLM 上验证，KITE 在迭代自进化中比强基线获得更稳定的改进。关键洞察：崩溃的诊断粒度必须可操作——只知道”性能下降”不够，必须知道”哪些能力在退化”才能精准策展数据。

对大模型数据工作的影响

这为合成数据”飞轮”提供了关键护栏。当前工业界合成数据自进化训练（如 Self-Instruct、STaR）的最大风险就是迭代退化，KITE 的”能力极化”诊断将数据策展从”整体保界”推进到”靶向补弱”，使合成数据迭代真正可持续。

TOPL：Token 级离策略学习重构后训练数据范式

事件概述

arXiv:2607.17524（7月20日提交）提出 TOPL（Token-Level Off-Policy Labeling），将后训练重构为 Token 级正确性预测任务，而非传统的序列级偏好优化。在 11 个摘要数据集上实现强 OOD 泛化，并可迁移至机器翻译。

技术细节

TOPL 的核心直觉：训练模型区分好 Token 和坏 Token，自然引导模型生成好 Token，同时避免直接让模型生成离策略 Token 的陷阱。技术路径：

  • 基于 FAVA 的 Token 级扰动构建合成训练数据
  • 使用 LoRA 进行二分类训练（正确/不正确 Token）
  • 训练后的 LoRA 适配器可解释为线性分类头和引导向量

消融实验证实：Token 级信号是性能关键，序列级类比方案无法提供类似收益。与 DPO、Token-Level DPO 等基线相比，TOPL 在 OOD 场景下优势显著。

对大模型数据工作的影响

TOPL 标志着后训练数据从”序列级偏好对”走向”Token 级正确性标签”。这意味着训练数据标注的粒度需要从”整个回答好/坏”细化到”每个 Token 对/错”，对数据标注工具链和评估体系提出新要求，同时大幅提升数据效率——每个错误回答内部仍有大量正确 Token 可供学习。

溯源冗余分解：LLM 生成临床语料 90% 是冗余的

事件概述

arXiv:2606.29605 在生产规模上揭示了一个令人警醒的事实：一个 25.1 亿 Token 的 LLM 生成临床语料中，仅 10.9% 是可训练唯一内容，79.4% 是冗余的。原始 Token 数将信息含量夸大了约 9 倍。

技术细节

提出 Provenance-based Redundancy Decomposition（PRD），将每个输出 Token 按来源分为五类：

  • 唯一源文本（去重后的患者叙述）
  • 唯一生成内容（仅出现一次的模型产出）
  • 重复生成内容（跨记录重复的模型产出，11.9%）
  • 复制上下文（逐字嵌入的源叙述，67.5%）
  • 脚手架（结构标识和元数据）

冗余来自两种机制：上下文复制冗余（管道设计导致，可通过引用存储无损消除）和生成重复冗余（LLM 一致性输出导致，难以完全消除）。独立的无损压缩分析（gzip/bzip2/LZMA/PPMD）验证了 PRD 结果。下游实验证实：等 Token 预算下去重语料训练的临床编码器在疾病识别基准上 F1 +0.029。

对大模型数据工作的影响

这项研究建立了合成语料质量评估的新基准。当前社区普遍以原始 Token 数报告语料规模，PRD 证明这一做法严重误导。建议：所有合成语料发布时应报告可训练唯一内容比例（TUR）和上下文复制比例（CCR），而非仅报告原始 Token 总数。这对 Nemotron-CC、FineWeb 等大规模语料的实际信息密度评估具有直接启示。

Aether-7B-5Attn：全开放训练数据配方的新标杆

事件概述

韩国 AI 创业公司 VIDRAFT（Bidraft）发布 Aether-7B-5Attn，Apache-2.0 许可下完整公开模型权重、训练代码、超参数、训练日志、中间检查点、评估代码和完整训练数据配方（可逐字节复现），以单家公司之力达到了此前仅 OLMo/Apertus/LLM-jp 等国家级联盟才实现的全开放标准。

技术细节

  • 6.59B 总参数，MoE 25 专家 top-7+1 共享，每 Token 激活 ~2.98B 参数
  • 五种异构注意力机制（Full/Differential/Sliding Window/NSA 稀疏/Hybrid）按 7×7 拉丁方排列在 49 层中
  • 144.2B Token 训练，16 × NVIDIA B200，约 11,700 B200 小时
  • 数据配比：数学 37.8% / 韩语 21.6% / 英语 21.6% / 代码 13.5%
  • 非英语中心模型：数学占最大比例，韩英双语并重

对大模型数据工作的影响

Aether 的训练数据配方公开了数据源、Token 计数、混合权重、分词器和 EOS 配置，使任何人可逐字节复现训练语料。这为”主权 AI”和本地化训练提供了可验证的参考实现，也推动了”开放权重 ≠ 开放模型”的行业标准讨论。其拉丁方注意力排列设计将实验控制嵌入架构本身，使注意力类型的效果可在开放条件下被证伪。

UltraX 登顶 HuggingFace Trending：函数式预训练数据精炼范式

事件概述

清华刘知远团队+面壁智能的 UltraX 预训练数据精炼框架于 7 月 17 日登上 HuggingFace Datasets Trending 榜首。UltraX 将预训练数据精炼重构为函数调用任务——训练轻量模型预测结构化编辑操作（插入/删除/修改），然后在原始文本上确定性执行，而非端到端文本改写。

技术细节

UltraX 定义五种编辑操作：keep_all、remove_all、remove_lines、replace_str、add_line。关键技术：

  • LAM（行级对齐映射）：在行级别对齐原始文本与精炼文本
  • DCR（动态上下文替换）：将字符级编辑转化为具有唯一上下文锚定的可靠 replace_str 操作
  • 大规模执行保障：滑动窗口推理 + 重叠感知操作聚合 + 歧义过滤 + 同行操作合并

发布五个精炼英文预训练语料（各 ~20B Token）：UltraX-FineWeb / RedPajama-V2 / AICC / Ultra-FineWeb / FineWeb-ProX-Doc。1B 模型从零预训练实验中，UltraX 在所有五个语料上均取得最高平均性能，多个数据集性能提升超 2%。

对大模型数据工作的影响

UltraX 的”编辑优于改写”范式解决了端到端 LLM 改写的两大痛点：不可控性（改写可能引入幻觉或偏离原文语义）和计算成本（大模型逐条改写代价高昂）。函数式精炼的可解释性——每个编辑操作可审计、可回滚——为预训练数据治理提供了新工具，特别适合需要精确保留原始语义的合规场景。