数据工程观察 · 2026年05月25日

引言

本期聚焦训练数据工程的三个前沿方向：数据编译新范式、预训练数据时序性与推理数据合成方法论。ACC 将 Agent 多轮轨迹”编译”为长上下文 QA 数据，以零标注成本解锁小模型长程推理能力；KairosQA 首次系统性验证数据时序排列对预训练知识时效性的影响，挑战了”数据打乱无关紧要”的工程惯例；DESIGNER 通过逆向工程人类专家出题逻辑实现跨 75 学科规模化推理数据合成；Synthetic Eggs 揭示合成数据源多样性对分布坍缩、对抗鲁棒性的关键作用；SPD 则从模型自身能力子空间生成蒸馏数据，开辟自进化训练数据生产路径。这些工作共同指向一个趋势：训练数据工程正从”量”的积累走向”结构”的精准设计。

---

ACC：Agent 轨迹编译为长上下文训练数据

事件概述

中国科学技术大学与上海 AI Lab 联合提出 Agent Context Compilation（ACC），将搜索、软件工程、数据库查询等多轮 Agent 轨迹自动”编译”为长上下文问答对，作为监督微调训练数据。论文发表于 arXiv:2605.21850（2026 年 5 月 21 日），数据集与模型权重已开源。

技术细节

• 核心洞察：标准 Agent SFT 屏蔽工具响应（tool response），仅训练轮次级别的工具选择，造成”监督盲区”——分散在多轮交互中的证据信号未被利用。ACC 将原问题与多轮工具响应、环境观察拼接为完整长上下文，使模型直接从证据推导答案。
• 数据编译过程：从搜索 Agent（网页检索问答）、软件开发 Agent（代码问题定位）、SQL Agent（结构化数据分析）三类主流 Agent 轨迹中提取证据，保留原始证据并加入干扰项提升鲁棒性，随机打乱证据顺序强制模型学习语义关联而非位置依赖。
• 实验结果：用 ACC 训练的 Qwen3-30B-A3B 在 MRCR 上达 68.3（+18.1）、GraphWalks 达 77.5（+7.6），结果与 8 倍参数量的 Qwen3-235B-A22B 相当，同时在 GPQA、MMLU-Pro、AIME、IFEval 上保持通用能力。
• 机理发现：ACC 训练后模型自发产生任务自适应注意力重组和专家专业化（expert specialization），灵活适配不同长程推理需求。

对大模型数据工作的影响

ACC 开辟了一条”数据编译”新范式——不是从零合成或人工标注，而是将现有 Agent 交互中已产生的海量轨迹”编译”为可监督训练数据。这对长上下文训练数据瓶颈具有直接突破意义：零额外标注成本、可规模化扩展、兼容任何现有长上下文训练方法。对从事 Agent 训练数据的团队而言，ACC 提供了将现有 Agent 轨迹数据”二次利用”的工程路径，是数据飞轮的关键一环。

---

KairosQA：预训练数据时序性对知识时效性的系统影响

事件概述

研究者提出 KairosQA 基准（7000+ 时间敏感问题），并通过预训练 6B 参数模型系统验证数据时序排列对 LLM 知识获取的影响。论文发表于 arXiv:2605.22769（2026 年 5 月 21 日），代码、检查点和数据集已开源。

技术细节

• KairosQA 基准：从 Wikidata 提取 2018-2025 年间至少变化两次的 subject-relation 对，经 Claude Sonnet 质量控制后保留 7167 对，用 GPT-4o mini 生成多样化多选题。评估协议包括 Cloze Formulation（CF）和 Generative Formulation（GF）两种设定。
• 预训练对比：在同一 Common Crawl 语料上对比两种预训练范式——Shuffled（全局打乱，标准做法）vs Sequential（按时间顺序，2018→2025）。6B Transformer decoder，2.5T token 训练。
• 核心发现：时序排列模型在通用语言理解和常识知识上与打乱模型持平，但在事实时效性上持续更优——模型知识更”新鲜”、时间精度更高。打乱模型的知识峰值偏旧，可能因为旧数据重复更多。
• 数据管线：多阶段过滤包括文本提取、语言识别（24 种欧洲语言）、Bloom filter 去重、7 领域 fastText 质量分类、退化文本过滤。

对大模型数据工作的影响

这项工作对预训练数据工程实践具有直接指导意义：当前几乎所有预训练管线默认打乱数据，但时序排列可能免费获得知识时效性提升。这对需要持续更新知识的场景（新闻、金融、科技）尤为重要。工程层面的启示是：预训练数据排序策略应成为超参数搜索的一部分，而非固定为”打乱”。KairosQA 也填补了时间知识评估基准的空白。

---

DESIGNER：设计逻辑驱动多学科推理数据合成

事件概述

南京大学与阿里巴巴联合提出 DESIGNER，通过逆向工程人类专家出题的”设计逻辑”（Design Logic），实现覆盖 75 个学科的规模化推理数据合成。论文被 ICLR 2026 接收（arXiv:2508.12726），SFT 后的 base 模型甚至超越官方完整后训练版本。

技术细节

• 设计逻辑（Design Logic）：从真实考题中逆向提取的”可复用元知识”——形式化刻画人类专家”定考点-设场景-埋陷阱”的结构化出题思路，将高质量推理题构造从”依赖命题专家”转变为”可规模化合成”。
• 规模化合成：用 LLM 从各类真题中逆向提取 12 万+ 条 Design Logic，设计两阶段”检索-生成”机制将设计逻辑与原始语料精准匹配，合成 DLR-Book（304 万题）与 DLR-Web（166 万题）两个数据集，覆盖 75 个学科。
• 核心优势：与 Evol-Instruct 等 query-centric 方法相比，不受种子覆盖面限制；与 document-centric 方法相比，可显式控制难度与多样性，避免退化为事实回忆。
• 实验结果：仅使用 DESIGNER 数据 SFT，Qwen3 和 Llama3 的推理性能超越官方最终版本（经过完整后训练），显著打破复杂推理数据合成瓶颈。

对大模型数据工作的影响

DESIGNER 解决了推理数据合成的核心痛点——学科覆盖窄、难度不可控。12 万+ 设计逻辑的提取与匹配机制，使得任何领域的原始文本都可以被转化为高质量推理训练数据。对后训练数据工程团队而言，这一范式可复用于企业内部知识的推理数据化：将内部文档与设计逻辑匹配，自动生成专业推理训练集。

---

Synthetic Eggs in Many Baskets：合成数据源多样性对模型行为的影响

事件概述

Utrecht 大学研究者在 ACL 2026 Findings 上发表研究，系统调查合成数据源多样性对 LLM 微调行为的影响，覆盖分布坍缩、对抗鲁棒性和自偏好偏差三个维度（arXiv:2511.01490v3）。

技术细节

• 三大维度：①分布坍缩——多源合成数据可有效缓解输出分布收窄，保留输出文本的广度与多样性；②对抗鲁棒性——合成数据微调可能移除安全护栏，但合成数据产生的输出质量倾向更高，使其”更可用也更危险”；③自偏好偏差——微调可降低 LLM-as-judge 中的自偏好偏差，人类数据最有效，多源合成数据次之。
• 实验规模：在 Llama-3.1-70B 等大模型上验证，涵盖单源 vs 多源合成数据对行为的多维影响。
• 核心结论：合成数据源多样性是防止分布坍缩的一阶因子——“不要把合成蛋放在一个篮子里”。

对大模型数据工作的影响

随着合成数据在预训练和后训练中的比例持续攀升（Nemotron-CC 含 1.9T 合成 token），这项工作提供了关键的工程准则：合成数据管线必须引入源多样性设计，而非依赖单一模型/策略生成。对后训练数据质检系统而言，“源多样性”应成为合成数据质量评估的新维度——不仅看单源质量，更要看源间分布差异度。

---

SPD：能力选择性子空间投影生成自蒸馏训练数据

事件概述

研究者提出 Self-Policy Distillation（SPD），从定义正确性的 token 梯度中提取低秩”能力子空间”，投影 KV 激活生成自蒸馏数据再做 NTP 微调。论文发表于 arXiv:2605.22675（2026 年 5 月 22 日）。

技术细节

• 核心方法：从正确性 token（correctness tokens）的梯度中提取低秩能力子空间（capability subspace），在自生成时将 KV 激活投影到该子空间，过滤掉风格和格式噪声，再用标准 next-token loss 微调。
• 对比优势：现有自蒸馏方法要么依赖外部信号（正确性过滤、执行反馈），成本高且不适用于前沿模型；要么直接使用原始自生成数据，易混入风格噪声。SPD 无需任何外部信号。
• 实验结果：在代码、数学和选择题上相对无外部信号基线最高提升 13%，较预训练模型最高提升 16%，泛化更强。

对大模型数据工作的影响

SPD 提供了一种”内生数据生成”范式——不依赖外部教师模型或标注，而是从模型自身能力结构中蒸馏出高质量训练数据。这对前沿模型的持续训练具有特殊意义：当没有更强的外部模型可用时，SPD 允许模型通过自我能力子空间投影实现数据自进化。工程上，这种”梯度→子空间→数据蒸馏”的管线可以嵌入持续训练循环，形成模型-数据协同进化闭环。