数据工程观察 · 2026年07月09日

引言

ICML 2026 主会今日进入最后一天（7 月 9 日），首尔 COEX 会场的数据工程论文展示迎来收束。MixtureVitae、InfoLaw、DeMix 等核心论文在今日海报环节集中亮相，为本次大会「数据即一级设计变量」的主旋律画上句号。

与此同时，arXiv 上三条数据工程方法论线同步推进：哈工大团队提出 CurateEvo，将策展策略视为可执行代码并基于失败轨迹迭代重写，为智能体后训练数据工程引入「演化」范式；中科院自动化所团队发布 LongCrafter，以证据图建模跨段落依赖关系，将长上下文 SFT 数据合成从「随机拼接」升级为「结构化可追溯」；SAYRE 则在多模态文档理解领域验证了场景感知合成替代手工模板的可行性。三条线共同指向一个方向——数据工程正在从静态预处理走向动态自适应闭环。

---

CurateEvo：失败驱动的智能体后训练数据策展演化

事件概述

哈工大社会计算与信息检索研究中心团队于 7 月 7 日发布 CurateEvo（arXiv:2607.06140），提出一种失败驱动的动态演化框架，将智能体后训练的数据策展从固定预处理步骤升级为可迭代进化的闭环过程。

技术细节

CurateEvo 的核心设计包含三层创新：

1. 策展策略即代码：将数据策展策略表示为可执行代码（而非配置文件），每个 epoch 可对策略脚本进行程序化重写，使策展过程本身成为可优化对象。
2. 失败驱动迭代：在每个 epoch，从 held-out 开发集上收集失败轨迹，诊断反复出现的失败模式（failure modes），据此对原始语料进行增强、过滤或精炼。演化过程先提升有效性（诊断失败→靶向修复），再优化效率（在成本感知目标下剪枝冗余或低效用训练轮次）。
3. 三路输出：演化后的策略将固定原始语料同时转化为 SFT 数据、RL 数据和推理时记忆库（memory bank），统一了后训练多阶段的数据供给。

实验在 ACEBench-Agent、BFCL-V4 和 τ²-Bench 上进行，覆盖标注数据和野生数据两种设置。CurateEvo 在两类设置上分别平均提升 3.2 和 2.7 分，且兼容不同后训练配方（SFT/RL），同时显著降低策展开销。

对大模型数据工作的影响

CurateEvo 代表了数据策展从「离线静态」到「在线演化」的范式跃迁。此前 CuratorKIT 的 provenance-exact 幽灵验证关注数据溯源，DataMaster 的 DataTree 关注数据组织，而 CurateEvo 直接将策展策略本身作为优化目标——策展不再是一次性工程决策，而是持续进化的智能体技能。这对未来训练流水线设计有深远启示：当模型能力随训练推进而变化，数据策展策略也应同步调整，而非假定最优策略在全训练过程中恒定。

---

LongCrafter：证据图引导的长上下文指令合成

事件概述

中科院自动化所联合团队于 7 月 7 日发布 LongCrafter（arXiv:2607.06160），提出基于证据图的层次化长上下文 SFT 数据合成框架，系统解决现有长上下文数据合成的任务覆盖窄、指令难度不足、缺乏忠实性监督三大问题。

技术细节

LongCrafter 的三阶段管线设计：

1. 层次化任务分类学：将长上下文理解组织为局部/浅层（local/shallow）与全局/深层（global/deep）两个层级，产出 32 种细粒度任务类型作为全局生成先验，确保任务类型覆盖的完整性。
2. 证据图构建：对任务对齐的长上下文进行分解，抽取显式证据图——节点为精确到段落的引用片段与关键信息标注，有向边编码跨段落依赖关系（时序、因果、共指等）。证据图必须满足两个条件：节点与边对目标任务不可或缺；节点集唯一支撑正确答案。若全局/深层任务的选中节点全来自同一段落，则触发定向重抽取。
3. 指令-响应对合成：基于证据图生成指令-响应对，响应采用逐步引用格式——每个推理步骤逐字引用对应证据片段，最终答案由引用链逻辑推导得出，不引入外部参数化知识。不合格样本由 LLM 验证器过滤。

使用 GLM-5 生成 2000 条高质量长上下文训练样本。在 LongBench、LongBench v2 和 LooGLE 三个基准上，基于 LongCrafter 数据微调的 Qwen2.5-7B 和 LLaMA-3.1-8B 均超越所有 SFT 基线及官方后训练模型，高难度任务提升最为显著。进一步分析表明，训练后的模型在证据定位上不受位置影响，有效缓解「中间遗忘」问题。

对大模型数据工作的影响

LongCrafter 将长上下文数据合成从「随机段落拼接+通用问答」升级为「结构化证据图+可控难度+可追溯推理」范式。证据图的核心价值在于：它不仅约束了合成数据的忠实性，还天然提供了难度控制机制——局部/浅层任务仅需单节点证据，全局/深层任务必须跨多节点推理。这为长上下文训练数据的系统性设计提供了可复用的方法论框架，尤其是「中间遗忘」问题的数据层面缓解路径，具有明确的工程落地价值。

---

SAYRE：场景感知文档合成赋能端侧 KIE

事件概述

7 月 6 日发布的 SAYRE（arXiv:2607.04636）提出场景感知文档合成框架，针对关键信息提取（KIE）场景下端侧多模态模型训练数据匮乏的问题，实现了无需手工模板的规模化 KIE 训练数据生成。

技术细节

SAYRE 的双管线设计：

1. 通用数据生成管线：给定少量样例文档，捕获类别特定的内容模式与排版约定，合成「文档-模式-标注」三元组。具体地，使用 Qwen-VL-Max 感知文档布局与语义内容，Qwen3-Max 生成文本内容与对应 HTML 代码，从 Persona Hub 采样 100 万精英人设提升生成文档多样性。
2. 错误驱动数据合成管线：扩展真实世界失败案例为困难训练样本，保留其结构模式的同时增加挑战性。使用 Qwen3-VL-Plus 生成文档模板。
3. Blender 光学噪声增强：在合成数据上施加真实光学噪声（扫描伪影、模糊、旋转等），模拟真实文档采集条件。

两条管线共生成 100 万条数据。Sayre-4B（基于 Qwen3-VL-4B）在约束类和开放类 KIE 上均为端侧 LMM 最优，且逼近大型服务端模型的性能。数据缩放实验表明合成数据量增加时性能持续提升，小模型和开放类提取受益尤其显著。

对大模型数据工作的影响

SAYRE 的「场景感知合成」方法论具有跨领域迁移潜力。它验证了一个关键假设：对于结构化领域任务，少量真实样例驱动的合成数据足以替代大规模手工标注。错误驱动合成管线尤其值得关注——它将模型的实际失败模式反馈到数据合成过程中，形成了「失败→数据→训练」的微闭环。这与 CurateEvo 的失败驱动策展形成了方法论呼应：数据工程的未来正在从「先造数据再训练」走向「从训练失败中学习造什么数据」。

---

ICML 2026 主会数据工程论文收束：从理论到工具的全栈验证

事件概述

7 月 9 日是 ICML 2026 主会最后一天。三天来，数据工程方向的核心论文在口头报告、聚焦海报和展览互动中集中展示。今日海报环节（Poster Session 8, 17:00–18:45 KST）包含 MixtureVitae 等重磅数据集论文，为大会数据工程线画上句号。

技术细节

回顾本次 ICML 主会（7 月 7–9 日）数据工程方向的核心论文展示：

论文	方向	展示形式
MixtureVitae	合规语料 422B token，permissive-first 策略	Poster (Day 3)
InfoLaw	数据感知信息缩放定律	Poster
DeMix Corpora	22T token 模型融合数据混合	Oral/Poster
Curated Synthetic Data Doesn’t Have to Collapse	合成数据崩溃修正	Poster
Internal Data Repetition Destroys LMs	重复数据计算等效损失	Poster
Curation-Bench	智能体自动化数据策展基准	Poster

三条趋势清晰浮现：

1. 数据混合从经验配方走向因果推断：CausalMix（清华+蚂蚁）用 CATE 估计解决数据池偏移下的混合优化问题，DeMix 用模型融合解耦混合搜索，InfoLaw 建模质量-信息密度-重复的联合缩放——三条线共同将数据混合从「网格搜索」提升为「可预测工程」。
2. 重复与记忆的精确量化：Memorization-Guided Data Reuse 挑战 4-epoch 上限，Internal Data Repetition 给出计算等效损失的精确度量——两条线共同表明，重复数据的影响远比「越多越差」的直觉复杂，存在非单调的最优重复区间。
3. 策展自动化从辅助工具走向核心闭环：Curation-Bench 验证了通用智能体可运行策展循环但需要方法脚手架，CurateEvo 将策展策略编码为可演化代码——策展不再是人类专家的手艺活，而是可编程、可优化、可进化的工程流程。

对大模型数据工作的影响

ICML 2026 标志着数据工程从「经验驱动」到「理论+工具双驱动」的拐点。当数据混合可预测、重复损害可量化、策展策略可演化，训练数据工作终于具备了成为「一等工程学科」的理论基础与工具链。这对工业界的直接影响是：训练数据团队的技能要求将从「数据清洗手艺」转向「数据工程系统设计」——不是更快地筛数据，而是设计能自动筛数据、自适应调策略的系统。