数据工程观察 · 2026年06月11日

引言

本期聚焦训练数据的”可见性”与”可审计性”——从数据溯源到数据合规，两条主线同时升温。STRIDE 将压缩感知引入训练数据归因，在激活空间中以 13 倍加速实现 SOTA 溯源；Provenance-Grounded Gating 则为合成后训练数据建立来源感知过滤与自适应恢复管线，解决”丢弃 vs. 保留”的二难困境。与此同时，微软 MAI 模型训练数据宣传与实际不符、xAI 蒸馏 Claude 输出遭曝光，训练数据合规性争议持续升级。国家层面，数据局正式发布行业高质量数据集建设实施方案，首次系统性部署数据赋能 AI 的基础设施。训练数据正从工程问题走向治理问题。

---

STRIDE：压缩感知重构训练数据归因，激活空间溯源 13 倍加速

事件概述

Max Planck 研究所与 CMU 等机构联合提出 STRIDE（Steering-based Training Data Influence Decomposition），将训练数据归因（Training Data Attribution, TDA）重新定义为激活空间的稀疏恢复问题，突破了传统梯度追踪的算力与精度瓶颈。论文于 6 月 3 日提交 arXiv（2606.05165）。

技术细节

• 核心创新：摒弃参数空间梯度追踪（需追踪数十亿参数且依赖局部近似），转而在激活空间建模训练数据的功能性影响。STRIDE 学习轻量级”转向算子”（steering operators），模拟在数据子集上训练带来的行为偏移；通过测量这些算子对测试预测的扰动，经稀疏线性分解恢复单个训练样本的影响力。
• 方法论根源：借鉴压缩感知（compressive sensing）思想，将 TDA 建模为稀疏信号恢复问题——少量训练样本对给定输出有显著影响，这恰好满足稀疏性假设。
• 性能：在 LLM 预训练溯源任务上达到 SOTA，同时比先前方法快 13 倍。
• 下游应用：数据选择、数据污染检测、训练数据定性分析。

对大模型数据工作的影响

TDA 是训练数据治理的关键基础设施——“如果无法追溯模型行为到训练数据，就无法实现数据问责”。STRIDE 将 TDA 的计算成本降低了一个数量级，使得在预训练规模上进行训练数据溯源变得可行。这对数据污染审计、版权合规验证、训练数据质量回溯等场景具有直接价值。压缩感知框架的引入也为后续工作开辟了理论路径：稀疏性假设是否在所有模态和任务中成立，将决定该方法的适用边界。

---

Provenance-Grounded Gating：来源感知过滤与自适应恢复重塑合成数据管线

事件概述

6 月 9 日提交的 arXiv 论文（2606.11127）系统研究了合成后训练数据策展中两个被忽视的问题：过滤信号是否锚定于生成样本的来源证据？被拒绝的样本能否系统性恢复而非永久丢弃？论文提出了来源感知门控（Provenance-Grounded Gating）与自适应恢复（Adaptive Recovery）框架。

技术细节

• 来源感知门控：将过滤信号锚定到诱导每个生成的源证据（exact source provenance），而非仅使用全局质量评分。实验证明，对强评估器而言，来源锚定显著提升忠实度门控效果。
• 幻觉门控与奖励门控互补：幻觉检测和奖励模型拒绝的样本群体高度不重叠，二者均为必要组件，不可互相替代。
• 自适应恢复管线：结合失败诊断（failure diagnosis）与靶向再生成（targeted regeneration），在对抗注入语料的实验中，恢复率和注入召回率均优于朴素重采样。
• 生成器规模是主效应：下游微调质量主要受生成器规模驱动，过滤与恢复条件为二阶但仍有意义的贡献。

对大模型数据工作的影响

当前合成数据管线普遍采用”一刀切”过滤：奖励模型或整体 LLM 评审打分，低于阈值即丢弃。这导致两个问题——误杀有价值样本、丢失过滤原因的可追溯性。Provenance-Grounded Gating 的”来源锚定+互补门控+自适应恢复”范式，为合成数据管线提供了更精细的质量控制思路。尤其在 SFT/RLHF 数据生产中，来源追踪使得”为什么这条数据被保留/丢弃”变得可解释，这对数据审计和合规至关重要。

---

微软 MAI 训练数据合规性争议：宣传”仅用授权数据”，论文揭示 Common Crawl

事件概述

6 月 2 日微软 Build 2026 大会上，微软 AI CEO Mustafa Suleyman 宣称 MAI-Thinking-1”从零开始基于企业级、干净且商业授权数据训练，未使用第三方模型蒸馏”。6 月 5 日，开发者 Simon Willison 和媒体 The Decoder 发现，MAI 技术论文明确记载训练数据包含 Common Crawl（经去重后 242 亿页），与宣传表述严重不符。

技术细节

• 训练数据构成：MAI 训练语料由两部分组成——微软自有爬虫从 1.2 万亿网页中过滤至 7940 亿页的私有数据，以及 Common Crawl 经去重合并后的 242 亿页。
• robots.txt 争议：微软声称遵守 Robots Exclusion Protocol，但 The Decoder 指出其逻辑为”未屏蔽即默认可抓取”，将内容保护责任转嫁给网站所有者，近似于”没有锁门即同意进入”。
• 宣传与实际落差：面向金融、医疗等合规敏感行业客户的”干净授权数据”定位，与技术论文中公开网络数据的混合方案存在直接矛盾。
• 行业背景：2026 年初 DeepSeek R1 蒸馏争议后，企业采购团队对训练数据溯源的关注度显著提升，微软的宣传正对准这一需求。

对大模型数据工作的影响

这一事件揭示了训练数据合规性从技术问题升级为商业信誉问题的新趋势。使用 Common Crawl 本身是行业惯例（Google、Meta 等均如此），但”声称不使用”与”实际使用”之间的落差，对合规敏感客户的影响远超技术本身。这预示着：（1）训练数据溯源和审计需求将从监管驱动扩展到商业驱动；（2）“数据清洁度”将成为可量化的产品竞争力维度；（3）企业需建立内部一致的对外口径，技术论文与营销话术的冲突本身即构成风险。

---

国家数据局发布行业高质量数据集建设实施方案：六大专项行动与”词元经济”

事件概述

6 月 8 日，国家数据局正式发布《关于推进行业高质量数据集建设行动的实施方案》，这是国家层面首次对数据赋能人工智能发展作出的系统性部署。方案部署六大专项行动，目标 2028 年底建成覆盖重点领域的行业高质量数据集体系。

技术细节

• 六大专项行动：强基扩容（拓宽数据供给渠道）、标注攻坚（推动标注从”以人为主”向”人机协同、专家深度参与”转型）、提质增效、应用赋能、管理服务、价值释放。
• 数据形态覆盖：文本、代码、图像、音频、视频、点云、时序数据、科学数据等多模态数据集，赋能预训练、指令微调、强化学习、测评各阶段。
• 重点方向：智能体、具身智能、世界模型等前沿领域被列为优先方向。
• 词元经济：方案首次提出探索以 token 为基础的价值体系与词元交易等新型交易模式，标志着”词元经济”进入政策视野。
• 现状数据：截至 2026 年 Q1，全国已建成高质量数据集超 11.6 万个，总量超 960PB，日均 token 调用量突破 140 万亿。
• 数据标注先行先试：首批七个城市承担数据标注先行先试任务。

对大模型数据工作的影响

这是中国首次在政策层面将 AI 训练数据基础设施化。方案的影响体现在三方面：（1）供给侧——“强基扩容”和”标注攻坚”为行业数据从分散沉淀走向结构化供给提供了政策通道；（2）交易侧——“词元经济”的提出可能催生新的数据定价与交易机制，训练数据有望成为可量化的生产要素；（3）标杆效应——方案对多模态、具身智能、世界模型等方向的优先部署，将引导数据工程资源向这些领域集中。对从业者而言，关注七个标注先试城市的落地细节和词元交易的具体规则设计，将有助于提前布局。

---

xAI 蒸馏 Claude 输出遭曝光：训练数据合规边界再受拷问

事件概述

据 The Information 6 月 7 日报道，马斯克旗下 xAI 曾长达数月使用 Anthropic Claude 模型的输出数据训练自家编程模型。Anthropic 今年 1 月发现后切断通过 Cursor 的访问权限，但 xAI 工程师据称并未停止，持续通过其他渠道获取 Claude 输出用于训练。

技术细节

• 蒸馏方式：非权重复制，而是批量调用 Claude API 生成编程问答数据，再将输出结果作为学生模型的训练语料。
• 违规性质：Anthropic 用户条款明确禁止使用 Claude 输出训练竞争产品，xAI 的行为构成对服务条款的直接违反。
• 技术-法律断层：蒸馏在技术层面”合法”（不涉及代码复制），但在商业层面踩线——几乎所有主流 AI 公司的用户协议都禁止用自家模型输出训练竞品。
• 延续性：Anthropic 切断官方渠道后，xAI 据称通过间接方式继续蒸馏，这进一步加剧了合规争议。

对大模型数据工作的影响

xAI 事件与微软 MAI 争议共同揭示了训练数据合规的两种典型风险：声称合规但实际不合规（微软）、明知不合规但持续违规（xAI）。对数据工程从业者而言，这意味着：（1）训练数据来源的可审计性不再只是”nice-to-have”，而是商业风险管理的基础要求；（2）服务条款合规将成为数据管线设计的一级约束，而非事后检查项；（3）蒸馏数据的法律地位（尤其是模型输出是否受著作权保护）仍处于灰色地带，业内需跟踪相关判例进展。