数据论文速递 · 2026年07月12日

引言

数据中心化 AI 的研究正在从”选什么数据”走向”如何系统地选”和”选错了怎么办”。本期速递涵盖四篇视角各异的论文——GAIA 将高斯过程引入指令微调的全局数据选择，突破传统批约束局部优化的局限；Formal Disco 构建分布式合成数据工厂，用最大熵原则持续生成多样化的形式化验证程序；CodeTracer 则直面训练数据安全，提出后门微调数据的取证归因框架；What to Keep, What to Forget 则从率失真理论出发，统一了 KV 缓存淘汰、提示裁剪、架构状态压缩与 Agent 记忆整合四种”数据取舍”问题。四篇论文共同指向一个趋势：数据工作正在获得更坚实的理论支撑和更精细的操作工具。

---

GAIA：高斯过程驱动的全局指令微调数据选择

论文信息：Online Data Selection for Instruction Tuning via Gaussian Processes | arXiv:2606.30077

核心问题：现有在线数据选择方法多为”批约束”（batch-constrained）——仅在随机批次内部做局部效用优化，无法捕获语义空间中的全局数据效用分布。如何在指令微调中实现全局性的高质量数据选择？

关键发现：

• 提出 GAIA（Global Adaptive Instruction tuning via GAussian processes）框架，将数据估值建模为语义空间上的连续效用流形，用高斯过程回归实现全局估计
• 设计自适应策略融合机制（adaptive strategy fusion），动态优先选择高效用样本；将策略后验更新建模为经典 fixed-share Hedge 框架的实例，继承动态遗憾（dynamic-regret）理论保证，确保在训练过程中质量分数非平稳变化下的鲁棒性
• 在三个数据集上显著优于当前最优基线方法

实践启示：GAIA 的核心贡献在于将数据选择从”局部贪心”提升为”全局估计”，高斯过程为数据效用提供了连续性先验，而 Hedge 框架则保障了非平稳环境下的选择鲁棒性。这对工业级指令微调管线有直接参考价值——当你有海量指令数据但训练预算有限时，全局视角的数据选择比逐批筛选更高效。

---

Formal Disco：可扩展开放式形式化验证程序合成

论文信息：Formal Disco: Scalable Open-Ended Generation of Formally Verified Programs | arXiv:2607.04631

核心问题：形式化验证语言（如 Dafny、Verus）的人工编写程序极度稀缺，成为 AI 辅助形式化推理的核心数据瓶颈。如何在大规模上合成高质量、多样化的形式化验证程序？

关键发现：

• 提出 Formal Disco 分布式系统，协调三类 LLM 工作者：发起器（initiator，从开源仓库 README 获取灵感草拟验证程序）、修复器（fixer，根据编译器和验证器反馈修复问题）、扩展器（extender，对已验证程序提出扩展补丁）
• 引入合成程序生成的最大熵原则——通过迭代 SFT 最大化生成多样性，使模型学会随时间推移生成越来越多样化的程序
• 发布三种语言（Dafny、Verus、Frama-C）的大规模合成数据集，微调后的开源模型在验证相关任务上经常匹配甚至超越 Claude Opus 4.5
• 所有 Agent 生成轨迹被记录并用于从强模型蒸馏和自改进

实践启示：Formal Disco 展示了一种通用的”数据稀缺领域合成范式”——用编译器/验证器作为自动反馈信号替代人工标注，用分布式多角色协作突破单模型生成瓶颈，用最大熵原则对抗模式坍缩。这一范式可推广至任何有自动验证机制的领域（如类型检查、测试覆盖）。

---

CodeTracer：后门微调数据的取证归因

论文信息：Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions | arXiv:2607.08011（COLM 2026）

核心问题：代码 LLM 可能被恶意微调数据植入后门，导致不安全的代码补全行为。现有防御手段难以应对自适应攻击。能否从已发生的恶意补全事件出发，反向溯源到导致该行为的特定训练数据？

关键发现：

• 提出 CodeTracer 取证框架，在仅依赖微调语料库和已报告的恶意补全事件的现实约束下运作
• 从受感染输出中提取结构化行为指纹（behavioral fingerprint），通过语义相关代码样本缩小搜索范围，再使用 LLM 推理将不安全逻辑归因到特定后门数据
• 在三种代表性漏洞案例、十种后门攻击和十六种竞争基线上验证，CodeTracer 始终实现高取证准确率和低误判率，对自适应攻击具有强鲁棒性

实践启示：CodeTracer 开创了”训练数据取证”这一新方向——不只检测后门是否存在，而是精确定位”哪条训练数据导致了后门行为”。这对训练数据供应链安全审计至关重要：当模型出现异常行为时，运营者需要的是归因能力（找出坏数据），而不仅仅是检测能力（知道有坏数据）。

---

What to Keep, What to Forget：率失真视角的数据与记忆压缩统一框架

论文信息：What to Keep, What to Forget: A Rate-Distortion View of Memory Compaction in LLMs and Agents | arXiv:2607.08032

核心问题：LLM 和 Agent 在推理过程中持续积累上下文信息——KV 缓存、长提示、循环状态、对话历史等——这些”记忆”的压缩/取舍问题分散在四个独立研究社区（KV 缓存淘汰、提示裁剪、架构状态压缩、Agent 记忆整合），缺乏统一视角。能否用一个理论框架统一这些看似不同的问题？

关键发现：

• 论证这四类问题本质上是同一个率失真（rate-distortion）问题：在资源预算下，以何种保真度保留哪些上下文信息，以最大化下游任务效用
• 提出统一的压缩目标函数和层无关下界，构建七轴分类法将不同层的方法统一分类
• 发现两个跨层普遍模式：① 所有层决定”保留什么”的信号都是注意力幅度或近因性，且都因”在查询已知前丢弃信息”而以相同方式失败；② 单轮长上下文压缩测量精细，但 Agent 实际执行的多轮重复压缩几乎从未被评估
• 基于此提出跨层基准设计和压缩感知设计原则

实践启示：这篇论文的价值不在提出新方法，而在提供一个统一的理论透镜——率失真框架将”数据取舍”从工程启发式提升为信息论问题。对数据工作者而言，这提示了一个深层问题：训练数据选择本质上也符合率失真结构（预算约束下选择最大效用子集），该框架可能为数据筛选提供新的理论工具。