数据工程观察 · 2026年07月18日

引言

本期聚焦预训练数据工程的范式性突破。从”该在预训练数据里放什么”走向”该从预训练数据里拿走什么”——KLLM 通过匿名化命名实体抑制参数化事实记忆，将预训练数据设计从”知识注入”翻转为”知识抑制”。与此同时，NexForge 从需求端出发规模化合成智能体训练数据，HalfLife 揭示公共讨论界面作为预训练数据投毒向量的新威胁面，“风和”代表垂直领域数据+模型的民主化开源，多级智能体难例策展则展现了数据合成从”量”到”难”的精化路径。

---

KLLM：预训练数据匿名化命名实体，从”知识注入”翻转为”知识抑制”

事件概述

arXiv:2607.12831（7月14日提交），Roi Cohen 等来自多所欧洲机构的研究者提出 Knowledgeless Language Models（KLLM）——在预训练语料中匿名化所有命名实体（人名→PERSON_N、地名→GPE_N、机构→ORG_N），从根本上移除实体关联的事实监督通道，迫使模型依赖上下文而非参数记忆进行推理。

技术细节

• 匿名化策略：基于 NER 将命名实体替换为类型+编号占位符（如”Barack Obama”→“PERSON184”），保留语言结构但移除事实锚点；代词不匿名以保留语言学完整性
• 规模验证：2.5B token（CNN/DailyMail + Wikipedia）→ 10B/20B token（SmolLM Corpus），多个模型规模均一致有效
• 关键结果：
  • 闭卷事实回忆大幅下降（验证匿名化成功）
  • 上下文问答/事实验证/幻觉检测基准一致优于标准 LM
  • 检索增强场景下 20-25% 相对提升，不完美证据下鲁棒性更强
  • 校准性显著改善：ECE、Brier Score、AUROC 均优，弃权行为更可靠
• Tokenizer 适配：匿名化标签作为保留 token 防止碎片化，专用 BPE 词表 30K

对大模型数据工作的影响

KLLM 提出了一个根本性的预训练数据设计问题：我们是否应该在预训练阶段就有选择地抑制某些知识通道？ 这与 RAG/工具调用范式形成互补——不是在推理时”补知识”，而是在训练时”不灌知识”，让模型从底层就建立证据驱动的认知习惯。对训练数据工程师而言，这意味着预训练语料策展多了一个维度：不仅要决定”放什么”，还要决定”拿走什么”。在 RAG 原生模型、合规敏感场景、以及需要高频知识更新的应用中，KLLM 范式可能成为预训练数据设计的重要参考。

---

NexForge：需求优先的智能体训练数据规模化合成

事件概述

arXiv:2607.14186（7月15日提交），赵佳荣等（华东师大+上交大+蚂蚁等）提出 NexForge，一种从自由格式能力需求出发编译可执行智能体训练数据的框架，突破了传统”基底优先”方法依赖预定义工具/仓库/技能图的扩展瓶颈。

技术细节

• 需求优先范式：Research-based demand discovery → 分布感知任务编译 → 自动检索/构建执行环境 → 教师轨迹收集 → 轨迹蒸馏
• 无需领域特定基础设施：同一流水线无定制产出 3,600 终端任务 + 2,000 办公任务
• 性能：
  • Qwen3.5-35B-A3B Base：Terminal-Bench 2.0 从 22.5%→52.0%，GDPval 从 813→1338 Elo
  • 扩展至 43.2K 终端任务后达 58.4%，超越 Claude Opus 4.6
  • Nex-N2 模型（基于 Qwen3.5-35B-A3B）：Terminal-Bench 2.1 达 75.3%，GDPval 达 1585 Elo，SOTA 开源性能
• 关键洞察：任务分布反映真实需求而非基底便利性，需求优先生成的任务覆盖了基底优先方法遗漏的能力维度

对大模型数据工作的影响

NexForge 代表了智能体训练数据合成从”有什么工具就造什么任务”到”需要什么能力就造什么任务”的转变。这与此前的 SkillSynth（技能图驱动）、AgentFrontier（ZPD 引导）等形成方法谱系，但 NexForge 的”需求发现→分布编译”流程更接近产品思维，任务分布与真实用户需求的匹配度更高。对训练数据团队而言，NexForge 提供了一条无需逐域构建基础设施即可快速扩展智能体训练数据的路径。

---

HalfLife：预训练数据投毒威胁面揭示——公共讨论界面成新攻击向量

事件概述

arXiv:2607.15267（7月16日提交），Victoria Graf 等（UW/AI2 等机构）提出 HalfLife 分析框架，首次系统性证明公共讨论界面（如评论区、论坛）可作为预训练数据投毒向量，并开发 HalfLife 方法估计对抗内容在 Web 爬取训练数据中的包含率。

技术细节

• 攻击向量：通过公开讨论界面（如维基百科讨论页、论坛帖子）注入恶意内容，这些内容会被 Common Crawl 等爬取器自然采集
• HalfLife 分析：估计对抗内容从注入到被包含在预训练语料中的”半衰期”——即经过多少轮爬取/过滤后仍有残余
• 关键发现：
  • 数据策展管线（质量过滤/去重/PII 移除）并不能有效清除精心设计的投毒内容
  • 公共讨论界面的开放性使投毒成本极低，而检测成本极高
  • 投毒内容可以”搭便车”——附着在高权威域名的页面上，更容易通过质量过滤器
• 威胁规模：不同于此前针对 Wikipedia 的有限场景研究，公共讨论界面代表了 Web 规模的异构攻击面

对大模型数据工作的影响

这项研究对预训练数据安全审计具有警示意义。当预训练语料越来越多地来自 Web 爬取时，数据策展管线不仅是”质量控制”问题，更是”安全防御”问题。HalfLife 提供了一种量化投毒内容在管线中存留的分析方法，但更根本的挑战在于：开放 Web 作为预训练数据源，其攻击面正在扩大，而现有策展管线对投毒内容的防御能力远低于预期。 对数据工程团队而言，这提示需要将对抗性内容检测纳入数据策展流程，而非仅依赖传统质量信号。

---

“风和”千亿参数级开源气象大模型：垂直领域数据+模型民主化

事件概述

7月17日 WAIC 气象专会上，中国气象局联合雄安人工智能创新研究院、智谱等发布全球首个千亿参数级开源气象大语言模型”风和”，并启动全球开源计划，已在 GitHub、HuggingFace 开放完整模型权重及 API。

技术细节

• 数据基座：基于地球系统数据资源基座，训练 5000 万 tokens 高质量气象服务语料，集成权威气象数据
• 能力：天气分析研判、风险评估、气象服务智能支撑，支持中英文智能问答
• 开源范围：完整模型权重 + 标准化 API 接口 + 云服务 + 定制化部署方案
• 应用场景：公众气象查询/预警 + 行业（交通/能源/电力/健康）场景化行动建议
• 国际版：已融入联合国全民早期预警倡议，与”妈祖”气象智能预警方案整合

对大模型数据工作的影响

“风和”代表了一个重要趋势：垂直领域预训练数据的系统化策展与模型的开源同步释放。与通用预训练数据集不同，气象领域数据的权威性、时效性和专业性要求极高——5000 万 tokens 看似不大，但每个 token 背后是权威气象数据的结构化转化。这种”小而精”的垂直领域语料 + 千亿参数模型的开源模式，为其他垂直领域（法律、医疗、金融）提供了可参考的路径。对数据工程师而言，关键启示是：垂直领域数据的价值不在于规模，而在于权威数据源的结构化转化能力和领域知识的系统性编码。

---

多级智能体难例策展：从”量”到”难”的数据精化路径

事件概述

arXiv:2607.14256（7月15日提交），Genglin Liu 等（Apple/多机构）提出自动化的多级智能体难例合成框架，通过架构师智能体+图像生成器+多级验证委员会的协同，自动发现边界违规和模糊政策边缘案例，无需人工标注即可将 FNR 从 41.2% 降至 24.5%。

技术细节

• 多智能体架构：
  • Architect Agent（高推理能力）：提出新假设 + 变异历史尝试
  • Image Generator：生成对应图像
  • Multi-Level Verification Committee：多级 LLM 评估员联合审核
• 迭代策略：假设生成→图像合成→验证→失败分析→假设变异，闭环迭代
• 应用：合成难例作为 in-context demonstrations 通过检索增强提升目标模型鲁棒性
• 效果：公开图像安全基准上 FNR 从 41.2%→24.5%，零人工标注

对大模型数据工作的影响

这项工作代表了数据合成从”规模化生成”到”精准化难例发现”的进化方向。与 CurateEvo（失败驱动策展）等此前工作类似，但多级智能体架构的引入使难例发现更加系统化和自动化。对训练数据工程师而言，关键启示是：高质量训练数据不只需要覆盖常见模式，更需要精准覆盖模型最脆弱的边界。而智能体驱动的难例发现，正在成为这一目标的高效实现路径。