数据论文速递 · 2026年07月20日

本期覆盖 7 月 16-18 日 arXiv 新论文，共 4 篇。方向横跨预训练数据-后训练回报的量化桥梁、预训练数据选择的双层优化框架、训练数据记忆化的法律分析、预训练位置编码对数据学习效率的瓶颈——核心线索是“预训练数据的长期影响力”：数据量线性决定RL回报斜率，数据选择可从零开始建模长期影响，数据是否被”复制”取决于功能可提取性，数据结构（1D vs 2D位置编码）决定了模型能否真正学会复制。

Understanding Reasoning from Pretraining to Post-Training

论文信息：Understanding Reasoning from Pretraining to Post-Training，arXiv:2607.16097，Jingyan Shen, Ang Li, Salman Rahman, Yifan Sun, Micah Goldblum, Matus Telgarsky, Pavel Izmailov（NYU / UMD / Google DeepMind），2026-07-17

核心问题：预训练数据选择（模型规模、数据量）如何量化影响后训练 RL 的回报？RL 后训练长期与预训练割裂研究，两个基本问题悬而未决：预训练选择如何塑造 RL 计算的回报，RL 实际对模型做了什么？

关键发现：

• 以国际象棋为受控实验台（5M→1B 参数预训练→SFT 合成推理轨迹→RL 可验证奖励），发现后训练 RL 性能可由预训练 loss 直接预测
• RL 奖励曲线斜率与预训练 token 数近似线性关系——更长预训练的 checkpoint 不仅 RL 起点更高，RL 改进速度也更快
• RL 的作用不是简单”锐化”SFT 策略：简单谜题上 RL 放大 SFT 已偏好的正确走法，困难谜题上 RL 浮现 SFT 下几乎不存在的正确走法
• 在数学领域 1B 模型上验证了同样模式：更长预训练 → 更高 RL 起点 + 更快 RL 进步

实践启示：预训练数据投入有”复利效应”——多喂的 token 不仅提升预训练终点，还线性加速后续 RL 微调的收益斜率。这对预训练-后训练联合预算分配有直接指导意义：预训练不应被当作”固定成本”压缩，因为每多投入的数据量都会在 RL 阶段获得放大回报。

---

BLISS: A Lightweight Bilevel Influence Scoring Method for Data Selection in Language Model Pretraining

论文信息：BLISS: A Lightweight Bilevel Influence Scoring Method for Data Selection in Language Model Pretraining，arXiv:2510.06048，Jie Hao, Rui Yu, Wei Zhang, Huixia Wang, Jie Xu, Mingrui Liu（George Mason University / IBM / Rice University），ICML 2026

核心问题：如何在不依赖外部预训练模型的前提下，建模训练数据的长期影响来做预训练数据选择？现有方法要么依赖外部 oracle 模型（引入混淆因素），要么从固定模型状态估计短期影响（忽略长期效应）。

关键发现：

• 提出 BLISS（Bilevel Influence Scoring），将数据选择建模为双层优化问题：上层优化评分模型分配样本权重，下层在加权训练损失上训练代理模型至收敛
• 完全从零开始，用小型代理模型替代 LLM，无需外部预训练 oracle
• 评分模型通过多步代理更新估计样本的长期影响力（训练至收敛后的效应）
• 在 C4 数据集上预训练 410M/1B/2.8B Pythia 和 LLaMA-0.5B：1B 设置下，BLISS 达到 SOTA 相同性能时实现了 1.7x 加速
• 多轮数据选择中，代理模型每轮重初始化（保留可塑性），评分模型跨轮持续学习

实践启示：预训练数据选择不需要昂贵的预训练 oracle 模型，一个小型代理模型 + 双层优化即可捕捉数据的长期影响。对工业界而言，这意味着数据策展管线可以在预训练开始前独立运行，不需要先训练一个大模型再做筛选。

---

Probabilistic “Copies” in Generative AI Models

论文信息：Probabilistic “Copies” in Generative AI Models，arXiv:2607.14532，Mark A. Lemley, A. Feder Cooper（Stanford / Berkeley Law），Berkeley Technology Law Journal（forthcoming），2026-07-16

核心问题：LLM 权重中存储的训练数据信息，在什么意义上构成版权法意义上的”复制”？现有版权法从未处理过”以一定概率生成受版权保护内容的存储”是否算复制的问题。

关键发现：

• LLM 不像传统数据库那样存储信息，而是存储 token 间的统计关系，生成过程是概率性的而非确定性的
• 在记忆化场景下，这些统计关系强到模型在”许多情况下”会以一定概率生成训练数据中的受版权作品
• 现行版权法最可能采取功能主义路径：只有当从模型输出中”直接提取”某作品是容易的，才认定模型包含该作品的”复制”
• 这一结论作为政策不令人满意——即使只有少数”可提取”作品构成复制，大量”可能生成但不易提取”的作品则不受保护——但这正是现行法律的走向
• 作者建议法律改革以弥补这一缺口

实践启示：对数据工程团队而言，这篇论文划清了记忆化的法律边界——“训练数据存在模型中”和”训练数据构成法律意义上的复制”是两回事。可提取性（extractability）而非存储本身，是法律判定的关键标准。这意味着数据清洗和去记忆化策略应优先关注”可提取性”而非仅关注”是否存在”。

---

Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D

论文信息：Frontier Language Models Struggle to Copy: Text Can Be Better Viewed in 2D，arXiv:2607.16072，Haodong Wen, Yiran Zhang, Yingfa Chen, Kaifeng Lyu（Princeton），2026-07-17

核心问题：即使最前沿的 LLM 也无法准确复制上下文窗口内的输入文本——这一预训练数据的结构性缺陷源自哪里？位置编码的归纳偏置如何限制了模型从预训练数据中学习”定位-复制”的能力？

关键发现：

• 前沿模型（GPT-4 级别）在”精确复制上下文内字符串”这一看似简单的任务上彻底失败，即使字符串远在上下文窗口内
• 根因是 Transformer 位置编码的归纳偏置：倾向于通过局部上下文匹配的捷径复制，而非精确定位对应输入位置
• 提出 2D-RoPE：将文本组织为 2D 网格（行列 ID），复制变为”固定列偏移的检索”，任务复杂度骤降
• 合成实验中，浅层 Transformer + 2D-RoPE 在训练长度数百倍的输入上实现完美复制，标准位置编码远落后
• 在 DCLM 大规模预训练中（1.4B 参数），2D-RoPE 的复制优势持续保持

实践启示：预训练数据的”结构”不仅指内容配比和清洗策略，还包括模型如何编码数据的位置信息。2D-RoPE 的成功暗示：当前 1D 序列化范式可能系统性浪费了预训练数据中的结构信息。对预训练数据工程而言，这意味着数据格式化（如何组织文档、表格、代码等结构化内容）应与位置编码设计联合优化。