数据论文速递 · 2026年07月18日

本期精选 5 篇 7 月 15-16 日新发布的论文，覆盖预训练数据安全、微调数据隐性影响、数据-模型行为溯源、Tokenizer 与数据效率、以及 Agent 数据合成五个方向。核心发现指向一个共同趋势：数据工程的核心挑战正在从「怎么用好数据」转向「怎么防御数据的隐性危害」——投毒攻击的攻击面远超预期，看似无害的数据可以引发跨域偏见扩散，而溯源和防御手段才刚刚起步。

Pretraining Data Can Be Poisoned through Computational Propaganda

论文信息：Pretraining Data Can Be Poisoned through Computational Propaganda，arXiv:2607.15267，Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo，2026-07-16

核心问题：预训练数据的投毒攻击是否可以通过公开网页评论区等 Web 规模的内容注入机制实现？经过数据策展管线后，恶意内容是否还能存活？

关键发现：

• 此前预训练数据投毒研究仅针对 Wikipedia 等固定数据源，忽略了 Web 爬取语料的异质性和数据策展管线的过滤效应。本文首次证明：公开讨论界面（评论区、论坛帖子）可作为 Web 规模预训练语料投毒的有效攻击向量
• 提出 HalfLife 分析法——一种估计对抗性内容在 Web 爬取训练数据中包含率的新方法，用于量化投毒内容经过爬取和策展管线后是否仍被保留
• 实验表明，第三方网页内容构成对语言模型预训练的潜在攻击向量，且现有策展管线未能充分过滤此类投毒内容

实践启示：预训练数据安全需从「已知来源防护」升级为「Web 规模攻击面评估」。HalfLife 分析法为预训练语料审计提供了新工具——在构建大规模爬取语料时，必须评估第三方评论区等内容是否已渗入训练数据。

---

Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

论文信息：Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs，arXiv:2607.14888，Robert Graham, Edward Stevinson, Yariv Barsheshat，2026-07-16

核心问题：在看似无害、通过内容审核的窄域数据上微调 LLM，是否会在训练数据未覆盖的领域引发意识形态偏移？

关键发现：

• 提出 「意识形态泛化」（Ideological Generalisation） 现象：在窄域、事实可辩护、通过审核的数据上微调，会在不相关领域引发广泛的意识形态偏移，同时保留通用能力
• 用右倾/左倾经济学 Q&A 数据微调 GPT-4.1，在刑事司法、环境、文化品味等训练中未出现的领域引发了匹配的意识形态偏移；食品安全数据微调甚至增加了模型对用户虚假健康信念的附和
• 提出 breadth（偏移跨域广度）和 amplification（微调 vs few-shot 的偏移放大倍率）两个量化指标。Few-shot prompting 可指示偏移方向，但微调将模型推至更极端——包括支持种族-IQ 关联和政治暴力等极端输出
• 效应在 Gemma-3 上复现，在混合通用数据后仍存在，且 GSM8K 准确率仅在基线 ±1pp 以内

实践启示：这是上一期「答案条件化 CoT 隐性损害」的微调侧呼应——不仅预训练数据有隐性危害，微调数据的隐性跨域偏移同样不可忽视。任何微调数据集上线前，应进行「意识形态泛化」测试，而非仅做内容审核。

---

Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions

论文信息：Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions，arXiv:2607.14306，Zachary Izzo，2026-07-15

核心问题：LLM 的输出分布与训练数据中的经验下一 token 分布（ENTD）有多大程度的一致性？能否通过 ENTD 将模型行为溯源到训练数据？

关键发现：

• ENTD 是下一 token 交叉熵损失的无约束全局最小化器，也是预训练语料的可解释函数。研究发现，对相当比例的输入，LLM 的分布与 ENTD几乎完全一致，且平均一致性随模型规模和训练计算量增加
• 但存在长尾不一致——大量输入序列上 LLM 与 ENTD 显著偏离。论文从 Transformer 架构、训练过程、ENTD 估计的有限样本噪声三个角度分析偏差来源
• 提出 「数据中心可解释性」（Data-Centric Mechanistic Interpretability） 新范式：不是从权重解码行为，而是从训练数据解释行为来源，与标准机制可解释性互补

实践启示：ENTD 提供了一条从「模型行为」到「训练数据」的直接溯源路径。对预训练数据工程而言，这意味着可以通过 ENTD 定位哪些训练数据片段导致模型产生特定行为，为数据审计和去偏提供定量工具。

---

In-Place Tokenizer Expansion for Pre-trained LLMs

论文信息：In-Place Tokenizer Expansion for Pre-trained LLMs，arXiv:2607.15232，Jimmy T.H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyde, Maxime Labonne, Alexander Amini, Mathias Lechner，2026-07-16

核心问题：预训练时固定的 Tokenizer 对后加入的语言造成严重的 token 碎片化，如何在不重新预训练的前提下扩展词表以提升多语言数据效率？

关键发现：

• 提出 Tokenizer Expansion（词表原地扩展） 方法：在已有 BPE 词表上继续做多语言语料的合并操作，保持源 token 不变，新 token 有精确的源 token 分解；新嵌入行用源子 token 嵌入的均值初始化
• 采用两阶段适应：先仅训练嵌入层，再全模型继续预训练，恢复源 checkpoint 质量
• 应用到 LFM2-8B-A1B（8B MoE），扩展至 128K 词表后产生 LFM2.5-8B-A1B：印地语和越南语编码 token 数减少约 2.4× 和 2.6×（泰语最高 4.0×），综合每字符解码加速 2.2-3.7×
• 模型权重和扩展 Tokenizer 均已开源，同时报告了塑造此方法的关键负面发现

实践启示：Tokenizer 决定了训练数据的「信息密度」——碎片化编码本质上是在浪费 token 预算。对多语言预训练，词表扩展是比重新预训练更经济的路径，且直接转化为推理加速和数据效率提升。

---

NexForge: Scaling Executable Agent Tasks via Requirement-First Synthesis

论文信息：NexForge: Scaling Executable Agent Tasks via Requirement-First Synthesis，arXiv:2607.14186，Jiarong Zhao, Zhikai Lei, Zhiheng Xi, Rui Zheng, Hang Yan, Jie Zhou, Qin Chen, Liang He，2026-07-15

核心问题：现有 Agent 训练数据合成受限于「基板优先」方法（绑定预定义工具/仓库/技能图），如何实现需求驱动的可扩展合成？

关键发现：

• 提出 「需求优先」（Requirement-First） 合成范式：先做基于研究的「需求发现」识别代表性任务形式和真实场景分布，再做分布感知的任务编译，自动构建所需文件、仓库、依赖和运行配置
• 同一管线（无领域特定基础设施）生成 3,600 个终端任务和 2,000 个办公任务，将 Qwen3.5-35B-A3B Base 在 Terminal-Bench 2.0 上从 22.5% 提升至 52.0%；扩展至 43.2K 任务后达 58.4%，超越 Claude Opus 4.6
• 进一步扩展的 NexForge 合成数据助力训练 Nex-N2 模型家族：Qwen3.5-35B-A3B 在 Terminal-Bench 2.1 达 75.3%、GDPval 达 1585 Elo——开源 SOTA，超越多个闭源前沿系统

实践启示：Agent 数据合成的瓶颈不是生成能力，而是任务分布与真实需求的对齐。「需求优先」范式从源头解决分布偏移问题——先搞清楚「用户到底需要什么」，再据此合成，而非围绕工具方便性生成。这对所有 Agent 数据管线都有方法论启示。