数据论文速递 · 2026年07月16日

引言

本期速递覆盖预训练数据工程的四个前沿方向：预训练信号设计（KLLMs 通过实体匿名化抑制参数记忆）、多模态数据配比基准（DCVLM 首个 VLM 数据策展基准，160 数据集 × 千次实验）、代码中间训练语料（Function-Aware FIM 从程序依赖图挖掘中训数据）、文本极压缩蒸馏（TAKE 以影响力函数+最优传输将语料压缩至 0.1%）。四篇论文共同指向一个趋势：数据工程的核心问题正从”喂什么”升级为”怎么设计喂的方式”——预训练信号的干预粒度、数据配比的系统基准、中间训练的结构化目标都在重塑我们对”训练数据”的理解。

---

Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling

论文信息：arXiv:2607.12831 | Roi Cohen, Yvan Carré, Nick Lechtenbörger, Hendrik Droste, Lucas Kerschke, Russa Biswas, Gerard de Melo, Jan Buys | Submitted 14 Jul 2026

核心问题：语言模型在参数中编码了大量事实知识，但这些知识可能过时、不完整或与上下文矛盾，导致幻觉和不可靠行为。能否通过修改预训练信号，系统性地让模型从”依赖参数记忆”转向”依赖外部证据”？

关键发现：

• 提出 KLLMs（Knowledge-”Less” Language Models）——一种根本性的认识论训练范式：在预训练语料中将命名实体匿名化，切断实体关联的事实监督通道
• 跨多个模型规模，KLLMs 在上下文问答、事实验证、幻觉检测基准上持续优于匹配基线
• 在检索增强场景下，KLLMs 对不完美证据展现更强的鲁棒性，取得 20–25% 相对增益
• KLLMs 展现更好的校准性（ECE、Brier 分数、AUROC 均改善），以及更可靠的拒答行为
• 闭卷事实回忆能力被大幅抑制，但上下文理解能力反而提升

实践启示：这为预训练数据工程开辟了一条全新路径——不是选择什么数据来喂，而是设计数据中保留什么信息。实体匿名化本质上是一种”知识抑制”策略，迫使模型学会”看证据说话”而非”凭记忆回答”。对于 RAG 系统，使用 KLLMs 作为基座模型可能比标准 LM + 检索更可靠；对于安全敏感场景，KLLMs 的低幻觉倾向和良好拒答行为也具有直接应用价值。

---

DataComp-VLM: Improved Open Datasets for Vision-Language Models

论文信息：arXiv:2606.28551 | Matteo Farina, Vishaal Udandarao, Thao Nguyen 等 36 位作者 (Stanford, Tübingen AI Center, Google, ETH Zürich, UW 等) | Submitted 26 Jun 2026

核心问题：训练高性能视觉语言模型（VLM）需要精心策展大规模训练数据，但社区一直缺乏系统性基准来评估不同的数据策展策略（过滤、混合、格式化、采样）。到底”怎么配比”比”怎么筛选”更重要吗？

关键发现：

• 构建 DCVLM 基准：整合 160 个数据集，涵盖四种数据类型（图文对、多模态交错文档、纯文本、指令微调数据），总计 6 万亿多模态 token
• 跨 1B–8B 模型和 6.25B–200B token 预算进行超千次受控实验
• 核心结论：数据配比比数据过滤更关键——指令数据占比高的混合方案在缩放时持续优于图注数据为主的方案，且优势随规模扩大而增大
• DCVLM-Baseline 训练的 8B VLM 在 33 任务核心套件上达到 63.6% 准确率（200B tokens），较此前 SOTA 开源训练集 FineVision 提升 +5.4 个百分点
• 基准包含 52 个下游评测基准，覆盖 9 个领域，并做了严格的去污染处理

实践启示：DCVLM 为多模态数据工程提供了首个系统性实验平台，其核心发现——“配比胜于筛选”——对 LLM 数据工程同样具有启发意义：与其花大量精力在数据过滤上，不如把重心放在不同数据源的配比调优上。指令数据的缩放优势暗示，模型能力的上限更多由”如何组织训练信号”而非”原始数据质量”决定。此外，DCVLM 的去污染流程（图像相似度检索 + 文本哈希比对）也为数据集构建提供了可复用的最佳实践。

---

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

论文信息：arXiv:2607.12463 | Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen | Submitted 14 Jul 2026

核心问题：编码 Agent 需要将外部工具返回整合进持续推理——这种”调用-观察-继续”循环与标准左到右预训练暴露的能力方向不匹配。能否通过结构化的中间训练数据让模型提前习得这一能力？

关键发现：

• 发现编码 Agent 的”动作-观察-继续”循环与函数调用点在结构上同构（调用者绑定参数 → 被调用者返回值 → 下游代码消费该值）
• 提出 Function-Aware FIM 中间训练：通过程序依赖图分析和”复杂度-可推断性双准则”选择掩码函数，构建自监督目标
• 使用来自 968 个 GitHub 仓库的 26 亿 token 去污染语料，对 Qwen2.5-Coder (7B/14B) 和 Qwen3-8B 进行中间训练
• SWE-Bench-Verified 提升 +2.8/+3.0/+3.2；SWE-Bench-Lite 提升 +3.7/+4.0/+5.4
• 关键：中训仅用 Python 代码，但函数调用归纳偏置跨域迁移至非 Agent 编码和非编码工具使用基准，且缓解了 Agent 后训练导致的能力侵蚀

实践启示：这项工作展示了一个重要范式——从代码结构中挖掘训练数据，而非从数据本身出发。程序依赖图不仅是分析工具，更是训练数据设计的蓝图：它告诉我们”哪些位置的知识对 Agent 能力最关键”。对实践者而言，中训阶段的 FIM 目标设计比单纯增加代码数据量更有效；“结构感知的数据选择”思路也可推广至其他领域（如从法律文档的引用结构中挖掘中训数据）。

---

TAKE: Trajectory-Aware Knowledge Estimation for Text Dataset Distillation

论文信息：arXiv:2607.11898 | Tri-Nhan Vo, Dang Nguyen, Sunil Gupta | Submitted 13 Jun 2026

核心问题：大规模文本语料在存储和反复训练上的累积成本已成为 NLP 的隐性瓶颈。能否将语料压缩到极小规模（如 0.1%）同时保留下游任务保真度？

关键发现：

• 提出文本数据集蒸馏框架，将语料压缩至原始规模的 0.1%（每类仅 20 个样本），同时保持下游任务保真度
• 引入 TAKE（Trajectory-Aware Knowledge Estimation）：将基于影响力的知识量沿训练轨迹卷积为单一样本知识分数，捕捉信息量最大的样本
• 知识分数作为离散最优传输目标中的样本权重，引导从合成候选池中精选原型
• 在文本分类和自然语言推理任务上，极压缩率下（0.1%）仍然保持可接受的下游性能
• 方法论基于影响力函数，理论根基扎实，对 coresets 构建和 data-centric AI 有更广泛的意义

实践启示：TAKE 代表了数据工程的另一个极端——不是”怎么喂更多更好的数据”，而是”用最少的数据达到同样的效果”。影响力函数沿训练轨迹的卷积操作揭示了一个关键洞察：样本的价值不是静态的，而是随训练进程动态变化的。这对数据选择和课程学习都有启发：选择”在训练轨迹上贡献最大的样本”比选择”初始难度最高或最低的样本”更合理。对于计算资源受限的团队，极压缩蒸馏提供了一条可行路径。

---

SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation

论文信息：arXiv:2607.07469 | Andrea Scarinci, Virginia Negri, Brayan Impata, Suleiman Khan, Victor Martinez, Marcello Federico | Submitted 8 Jul 2026

核心问题：电商属性抽取的 LLM 微调需要覆盖数千种产品类型、属性和多语言标注——这种组合规模意味着数百万标注，人工标注成本不可承受。合成标签可行，但如何在大规模下保证质量？

关键发现：

• 构建 SynthAVE 基准：覆盖 12,726 个产品、229 种产品类型、792 个属性、4 种语言（西班牙语/法语/意大利语/德语）
• 提出 Multi-LLM Arena 验证框架：21 种裁判配置（7 个模型家族 × 3 种提示），多数投票决定最终标签
• 多数投票集成与人类专家的一致性达 Cohen’s κ = 0.92（95.2% 一致率），个别裁判间的模型间一致性 Fleiss’ κ = 0.76
• 核心发现：多样化的模型即使个别判断不同，聚合后也能形成高度可靠的预测——“多样性即鲁棒性”
• 该框架实现了大规模下的成本效益验证，质量与人工审核持平

实践启示：SynthAVE 的 Multi-LLM Arena 思路解决了合成数据质量控制的核心难题——用模型多样性替代人工审核。7 个模型家族的多数投票达到 κ=0.92 的事实表明，在标注质量验证场景下，“多个弱评判者的集体智慧”可以接近甚至匹配人类专家水平。这一范式可推广至任何大规模合成数据的质控场景：不仅是属性抽取，也包括 SFT 数据、RL 奖励标注等。关键启示是不要依赖单一强模型的判断，而要构建多样化的裁判团。