数据论文速递 · 2026年06月07日

引言

合成数据的”接地”程度、数据配比的跨维度权衡、隐私保护下的知识传递、领域数据的清洗构建——这些是大模型数据工程正在进入的深水区。本期论文覆盖五个前沿方向：(1) GAIS 框架通过 MCP 协议锚定合成数据，让 Agent 训练数据不再”凭空想象”；(2) 校准数据在 LLM 剪枝中存在能力维度间的反号权衡，单一数据源无法兼顾所有能力；(3) ContinuousBench 证明当前差分隐私合成数据几乎无法传递新知识，即使 ε=100；(4) PMC-InterCPT 重新思考生物医学多模态数据的构建流程，通过上下文恢复、噪声清洗和模态感知采样显著提升 CPT 效果；(5) DataShield 从合规向量角度识别导致安全退化的训练样本。这些工作共同指向一个核心趋势：数据工作正从粗放式”有没有”转向精细化”好不好”。

---

Scaling Agentic Capabilities via Grounded Interaction Synthesis

• 论文信息：arXiv:2606.02001（2026-06-01，中国人民大学 & 腾讯）
• 核心问题：用 LLM 合成 Agent 交互数据时，无约束生成会退化为对模型内部先验的有偏采样，无法捕获真实世界的多样性和复杂度，也难以构建高保真的长程任务——如何让合成数据”接地”？
• 关键发现：
  • 提出 GAIS（Grounded Agentic Interaction Synthesis） 框架，通过两阶段接地机制自动化构建多样化环境和复杂任务。
  • 阶段一：基于真实世界 MCP（Model Context Protocol）服务器 构建协议锚定的环境，确保功能多样性和难度；阶段二：使用结构化规划导航这些环境，主动执行逻辑依赖和对抗策略生成复杂任务。
  • 在 BFCL、τ²-Bench 和 ACEBench 上，GAIS 合成数据显著超越 SOTA 基线，使基础模型匹配甚至超越官方指令微调版本。
  • GAIS 展现出卓越的数据效率和扩展性：用更少数据达到更强能力，且在基线停滞时保持持续增长。
• 实践启示：合成 Agent 训练数据必须”接地”——从真实工具协议出发构建环境，而非让 LLM 自由发挥。MCP 作为标准化的工具协议天然适合作为合成数据的锚点，这一思路可推广到更多 Agent 场景的数据工程。

---

Calibration Data Trade-offs Across Capability Dimensions: Why Multi-Source Mixing Matters for High-Sparsity LLM Pruning

• 论文信息：arXiv:2606.03328（2026-06-02）
• 核心问题：LLM 剪枝中校准数据的选择对平均精度影响”不大”——但一旦按能力维度拆开评估，这个结论还成立吗？
• 关键发现：
  • 将剪枝后能力分解为 General、Commonsense、Code、Math 四个维度，分析 15 种校准数据源，发现反号权衡：校准困惑度与 General 保留正相关（ρ=+0.71），但与 Math 和 Code 保留负相关（ρ=-0.53, -0.59，p<0.05）。没有任何单一数据源能同时保全所有能力。
  • 提出多源校准混合策略和 IGSP（Information-Guided Self-Calibration Protocol）：通过最小化 4-gram 聚合并跨维度平衡困惑度，自动构建多源校准集，无需能力对齐语料。
  • 在 LLaMA-3.1-8B 60% 稀疏度下，均匀多源混合达到 58.8% 总保留率，比最佳单源（MetaMath, 50.0%）高 +8.8，比 C4 默认（40.0%）高 +18.8；IGSP 比 Self-Cal 提升 +2.4，比 SGS 提升 +4.8。
• 实践启示：数据配比的权衡不限于预训练——剪枝校准同样存在能力维度间的零和博弈。多源混合是通用解法，IGSP 提供了自动化的构建路径。这一发现也提示：任何涉及”数据选择影响多维能力”的场景，都应避免仅看平均指标。

---

ContinuousBench: Can Differentially Private Synthetic Text Improve Capabilities?

• 论文信息：arXiv:2606.01849（2026-06-01，Google DeepMind & Columbia University）
• 核心问题：差分隐私（DP）合成文本承诺在保护隐私的同时释放敏感语料——但 DP 合成数据到底能不能传递原始语料中才有的新知识和能力？
• 关键发现：
  • 现有评估任务几乎不用训练就能解，无法验证 DP 合成是否真正替代了原始数据访问。提出 ContinuousBench：每季度自动更新的基准，将从未见过的训练语料与派生 QA 配对，确保任务 (1) 无语料不可解；(2) 在 DP 下可学习（知识由数百条独立记录支撑）。
  • 设立两个赛道：Geminon（程序生成的虚构生物数据）和 News（新爬取的公开新闻）。
  • 核心发现：非私有合成能显著传递原始语料知识；而当前 SOTA 的 DP 合成方法在 ε=100 时仍基本失败，无法有效传递知识。
• 实践启示：DP 合成文本在知识传递上仍存在根本性障碍——即使隐私预算极度宽松也无法工作。对于需要利用敏感数据的场景，DP 合成目前的实用性存疑，可能需要转向联邦学习或本地部署等替代方案。

---

PMC-InterCPT: Rethinking Biomedical Interleaved Data for Multimodal Continued Pretraining

• 论文信息：arXiv:2606.01049（2026-05-31）
• 核心问题：从科学文献中提取的生物医学图文数据通常只保留图片-标题对，但标题往往过短、依赖上下文，且自动提取引入大量结构噪声——如何构建高质量的医学多模态持续预训练数据？
• 关键发现：
  • 提出 PMC-InterCPT，一个上下文驱动的生物医学交错语料库：除标题外还纳入引用图片的正文内容。
  • 数据构建管线包括：缺失标题恢复 → 标题和上下文清洗 → 重建连贯的图文交错样本 → LLM 监督的医学相关性和质量分类器过滤噪声。
  • 发现语料中存在强烈的模态不平衡，引入四桶证据分类体系（four-bucket evidence taxonomy）进行模态感知重采样。
  • 在 Qwen3.5-4B-Base 上 CPT + SFT 后，PMC-InterCPT 有效提升医学和通用多模态性能，且使用的 CPT token 数少于原始语料池。
  • 实验证实数据质量和模态平衡在医学多模态 CPT 中具有互补性。
• 实践启示：领域多模态数据的构建不能只做”标题配对”——正文上下文是关键信息源。同时，清洗管线（恢复+去噪+质量过滤）和模态感知采样缺一不可。这一框架对其他领域（如法律、金融）的多模态数据构建同样具有参考价值。

---

DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning

• 论文信息：arXiv:2606.00160（2026-05-29）
• 核心问题：即使用良性数据集微调 LLM，也会导致安全能力退化——如何高效识别良种数据集中潜在的安全退化样本？
• 关键发现：
  • 核心观察：良性微调会整体提升模型的合规倾向（compliance），从而使安全边界模糊。
  • 提出 DataShield，将每个样本对模型合规行为的贡献量化为安全退化分数。包含三个核心组件：
    • (1) 合规向量提取：捕获 LLM 的合规行为倾向；
    • (2) 合规感知分数（CAS）：自动识别最优安全关键层；
    • (3) 安全退化样本过滤：量化训练数据沿合规方向的投影偏移。
  • 在 Llama3-8B、Llama3.1-8B 和 Qwen2.5-7B 上用 Alpaca 和 Dolly 验证有效性。额外发现：开放式问答更容易触发安全退化，且对应回复往往更长。
• 实践启示：安全退化的根源不仅是”有毒数据”——良性数据中的合规倾向同样危险。DataShield 的合规向量方法为微调数据安全审计提供了轻量级方案。开放式 QA 数据需要额外的安全审查关注。