数据论文速递 · 2026年07月19日

本期覆盖 7 月 14-17 日 arXiv 新论文，共 5 篇。方向横跨信息论 Scaling Laws、训练数据记忆化校准、Agent 多级对抗数据合成、非拉丁脚本词表扩展、评估数据时序泄漏——核心线索是“数据的边界在哪”：Scaling Laws 有信息论天花板，记忆化声明需要校准基线，对抗样本需要自动化发现，词表扩展有跨语言迁移极限，评估数据有时空泄漏红线。

---

Information-Theoretic Limits of Reliability and Scaling in Language Models

论文信息：arXiv:2607.14112 · Subhabrata Majumdar · 2026-05-08 提交，7 月 17 日 cross-list 至 cs.CL

核心问题：LLM 的 Scaling Laws 能否从信息论第一性原理推导？是否存在理论上的性能天花板？

关键发现：

• 每个生成任务都存在可靠性天花板（reliability ceiling），由输出不确定性中可从上下文解析的部分决定，不可逾越
• 不确定性分解为两个分量：可消解分量（可通过更多上下文关闭）和主观分量（任务固有歧义，无法消除）
• 自回归生成以依赖核（dependency kernel）控制的速率进一步降低天花板，该核量化了输出中 token 间的相关性
• 从这两个原语推导出的第一性原理 Scaling Law：LLM 性能受训练数据或模型容量中更稀缺的资源约束；Chinchilla Scaling Law 是该定律的特例
• 框架统一了多种实际现象：检索增强的收益（增加可消解上下文）和灾难性遗忘的谱机制（依赖核退化）

实践启示：Scaling Laws 不只是经验拟合——信息论框架给出了性能上限的明确物理含义。对数据工程而言，“训练数据瓶颈”和”模型容量瓶颈”有可区分的结构性原因，增加数据只在数据是瓶颈时有效。依赖核的分析也为理解”为什么某些数据组合产生干扰”提供了新视角。

---

Extractable Memorization From First Principles

论文信息：arXiv:2607.12649 · A. Feder Cooper, Marika Swanberg, Jamie Hayes, Lea Duesterwald, Christopher De Sa, Daniel E. Ho, Mark A. Lemley, Percy Liang · 2026-07-14

核心问题：现有”可提取记忆化”研究要么夸大提取能力（序列太短无法区分记忆与可预测性），要么暗示提取不可靠（模型也能复现未训练过的文本）——什么才是严格的记忆化声明？

关键发现：

• 提出匹配对比（matched comparison）原则：必须同时测量训练序列和非训练序列的生成概率，非训练序列的概率提供可预测性基线；训练序列超出基线才是记忆化证据
• 两种校准方法：(1) 共形测试（conformal test）——在总体层面校准 FPR 阈值；(2) 人口普查（census）——针对单文档（如一本书）与匹配非训练文档对比
• 实证揭示先前的有效性问题：OLMo 2 32B 在 Wikipedia 上复现非训练 10-token 后缀的频率约为训练后缀的 24%——这部分反映的是误报而非记忆化
• Llama 3.1 70B 在书籍上的校准阈值低至 1e-27，支持在任何可行采样预算内都无法提取的序列的记忆化声明
• 重新定义”可提取记忆化”：需要有效的记忆化声明 + 在现实预算内近乎确定的生成

实践启示：过去许多”LLM 泄露训练数据”的声明可能高估了实际记忆化水平——约 1/4 的”提取成功”可能只是文本本身的可预测性。对数据合规审计而言，匹配对比是必要的校准步骤，否则可能误判训练数据使用范围。

---

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

论文信息：arXiv:2607.14256 · Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L. Clement, Shalini Ghosh, Ariel Fuxman · 2026-07-15

核心问题：多模态大模型在内容安全和审核任务中仍易受对抗攻击和 OOD 边缘案例影响——如何自动化合成困难对抗样本以提升鲁棒性？

关键发现：

• 提出多级 Agent 对抗数据策展框架：高推理能力的 Architect Agent 提出新假设 + 变异历史攻击，高级图像生成器创建视觉内容，多级验证委员会（多个 LLM 评分器）审核
• 迭代策略：假设提议 + 历史变异交替推进，自动发现边界违规和模糊政策边缘案例，全程无需人工干预
• 合成的对抗样本通过测试时检索作为上下文示范注入目标模型
• 在公开图像安全基准上，将漏报率（FNR）从 41.2% 降至 24.5%，无需任何人工标注
• 多级验证委员会确保合成数据的政策一致性和多样性

实践启示：传统主动学习和人工标注无法覆盖多模态威胁的规模和复杂性。Agent 多级合成框架实现了”攻防闭环”——用攻击者的策略自动生成训练数据，再用于防御。对安全审核场景尤其有价值：不需要收集真实攻击样本，而是主动合成最难的边缘案例。

---

VEXMLM: Expanding the Lexicon of Ge’ez Based African Languages

论文信息：arXiv:2607.15209 · Hailay Kidu Teklehaymanot, Debela Desalegn Yadeta, Wolfgang Nejdl · 2026-07-16

核心问题：以拉丁文字为中心训练的多语言 PLM 在低资源、非拉丁脚本语言上性能退化严重——OOV 率高和子词碎片化如何系统性解决？

关键发现：

• 提出 VEXMLM：面向吉兹脚本（Ge’ez script）语言的 XLM-R 词表扩展变体，覆盖阿姆哈拉语和提格雷尼亚语，外加 17 种低资源非洲语言（共 19 种）
• 在精选的阿姆哈拉语/提格雷尼亚语单语语料上训练语言特定 SentencePiece 分词器，向 XLM-R 词表添加 30,000 个吉兹脚本子词
• 嵌入初始化策略：用 XLM-R 原始分词器下组成子词的嵌入取平均
• 两阶段训练：(1) 扩展词表上的继续掩码语言建模；(2) QA/NER/情感分析监督微调
• 在阿姆哈拉语/提格雷尼亚语 QA 上达到 87.0 EM / 90.0 F1（XLM-R: 66.0/78.0，Glot500: 74.0/78.0）
• OOV-token 实体准确率从 81.4% 提升至 94.3%（11 种语言平均）
• 关键迁移效应：阿姆哈拉语/提格雷尼亚语上的词表和继续预训练增益零样本迁移到 17 种相关但未增强的非洲语言

实践启示：词表扩展不是简单的”加几个 token”——嵌入初始化策略和两阶段训练策略决定了扩展收益能否保留甚至迁移。对预训练数据工程而言，低资源语言的词表扩展应配合语言特定语料的继续预训练，而非仅微调；迁移效应意味着少数语言的投入可以惠及整个语系。

---

Hindcast: Replaying Prediction Markets to Evaluate LLM Forecasters

论文信息：arXiv:2607.14051 · Xiao Ye, Jacob Dineen, Evan Zhu, Shijie Lu, Kevin Song, Ben Zhou · 2026-07-15

核心问题：LLM 预测器的回测评估存在两条答案泄漏通道——检索模型可获取事件后的报告，新模型的训练数据包含更近的事件——如何在评估中关闭这些泄漏？

关键发现：

• 识别两条泄漏通道：(1) 检索泄漏——模型可获取事件后撰写的报告，将预测退化为查找；(2) 训练数据泄漏——每年新模型的训练截止日期更近，去年”未来”的问题已进入今年训练数据
• 提出 Hindcast：在选定历史日期 t₀ 之前评估模型，同时冻结公开 Reddit 快照，仅允许读取 t₀ 之前发布的帖子
• 评分同时对比实际结果和 t₀ 时刻的市场价格（即人类在同一过去信息下的预测）
• 因截止日按市场逐个设置且快照永不更新，评估可在新模型出现时重跑而不失效
• 关键发现：关闭泄漏后，检索仍然帮助多数模型——但只在 Reddit 事先讨论过该事件时有效；当档案仅含推测时，检索反而有害

实践启示：LLM 评估中的数据污染不只存在于基准测试——时间维度的泄漏更隐蔽但同样严重。对数据工程而言，构建任何时间敏感的评估数据集都需要显式设置信息截止点，且检索增强的收益取决于检索源是否真正包含事前信息而非事后报道。

---

本期核心线索：数据的边界——Scaling Laws 有信息论天花板，记忆化声明有校准基线，对抗数据有自动化发现上限，词表扩展有跨语言迁移极限，评估数据有时空泄漏红线。知道数据能力的边界，比无限扩展数据本身更重要。