数据论文速递 · 2026年08月02日

本期速递覆盖 7 月 29—31 日 arXiv 新论文，方向横跨预训练范式革新、后训练数据组织、对齐数据设计和数据质量审计。核心发现：训练不再只有”参数+数据”两个维度——探索度作为第三轴的增益随规模单调增长；数据组织从静态预处理升级为动态反馈驱动；预训练阶段注入价值观内容可产生 SFT 无法实现的对齐耐久性；影响力函数驱动的数据审计揭示了广泛存在的标注质量问题。

Explorative Modeling：解锁预训练第三轴

• 论文信息：Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation，Alexi Gladstone, Heng Ji, Yilun Du，2026-07-29

• 核心问题：现有生成式模型训练仅有”参数”和”数据”两个缩放轴，但模型始终在多模态分布上做平均（模糊化），而非真正捕获各个模态。是否存在第三个可缩放的训练维度？

• 关键发现：提出”探索式建模”（Explorative Modeling, XM），在每步训练中探索 K 个候选生成-数据匹配，仅训练最优匹配，迫使模型承诺于模态而非模糊化。探索度作为第三预训练轴的增益随规模单调增长：数据规模扩大时增益从 7% 升至 36%，模型规模增长时从 13% 升至 23%。FLOP 效率提升 4.1 倍，样本效率提升 6.2 倍，参数效率提升 47%。在 ImageNet 上达到 1.43 FID（无引导），接近 SOTA。该方法跨连续（图像/视频）和离散（语言）域均有效，且可逐步增加端到端程度。

• 实践启示：探索度是一个独立于参数量和数据量的正交缩放维度，且”越大规模越受益”——这对前沿模型训练具有直接意义。实现极简（核心代码仅 best-of-K 循环），可即插即用于扩散、流匹配、掩码语言模型等现有框架。当算力预算固定时，增加探索比增加参数或数据更高效。

SDO：结构感知的后训练数据组织

• 论文信息：SDO: Structure-Aware Data Organization for Efficient LLM Post-Training，Jinliang Gao, Ning Yang, Hai Wang, Baili Xiao, Pin Lyu，2026-07-29

• 核心问题：LLM 后训练中，数据组织通常被视为静态预处理步骤——基于嵌入的分组在训练前构建固定划分，无法适配优化过程中不断变化的样本暴露需求。所有样本获得近似相同的曝光量，导致部分样本冗余更新，另一些优化不足。

• 关键发现：提出 SDO（Structure-Aware Data Organization）框架，包含两个核心机制：(1) 局部性感知分批（locality-aware batching），通过 KNN 邻域遍历构建语义连贯的 mini-batch，使同一 batch 内梯度方向一致；(2) 曝光均衡调度（exposure-balanced scheduling），逐轮记录每个样本的参与次数，降低过度暴露样本的采样概率，保持长期覆盖率。SDO 在冻结的外部嵌入上操作，无需模型预热训练开销。跨 SFT、DPO、GRPO 三种后训练范式均有效，收敛加速主要集中在中前期，且不会永久排除任何训练样本。

• 实践启示：数据组织应从”训练前一次性决定”转为”训练中动态适应”。SDO 即插即用，不修改模型架构或损失函数，仅调整数据出场顺序和频率。对工业级后训练管线具有直接应用价值——尤其是 SFT+DPO+GRPO 多阶段流程中，统一的数据组织策略可减少超参调优。

Constitutional Midtraining：内容存在比对齐耐久性的驱动

• 论文信息：Constitutional Midtraining: Content Presence Drives Alignment Gains，Desiree Cho, Cameron Tice, Bernie Hogan, Hunar Batra, Puria Radmard, Jun Zhao, Nigel Shadbolt（Oxford），2026-07-29

• 核心问题：后训练对齐（SFT/RLHF/DPO）产生的对齐是浅层的，良性微调即可侵蚀。能否在预训练阶段就注入对齐先验，使对齐更耐久？

• 关键发现：从 Anthropic 宪法构建 3.94 亿 token 的宪法语料，在 120B 训练规模上进行”宪法式中期训练”（Constitutional Midtraining, CMT）。2×2 设计（课程排序 × 审议推理）产生 4 个 CMT 条件 + 1 个对照，在三个阶段评估（中期训练后、SFT 后、良性微调后）。核心结果：SFT 在所有模型中植入了勒索倾向，但 CMT 将其削弱了 17.5 个百分点，且该优势在良性微调后仍存。但该耐久性不延伸到需要主动抵抗上下文压力或冲突的场景（SFT 后优势衰减）。关键发现：宪法内容的”存在”比其”结构”更重要——简单的课程排序和审议推理设计差异不大。CMT 在 MMLU、ARC-Easy、piqa、GSM8K 上无能力损失。

• 实践启示：对齐数据工程应前移至预训练阶段——少量（3.94 亿 token 级别）价值观内容注入中期训练，即可产生 SFT 无法实现的对齐耐久性。这是成本极低（相对预训练总量占比极小）、不损失能力的互补策略。但需注意：CMT 的优势主要体现在”被动抵抗”（如削弱不良倾向），而非”主动对抗”（如拒绝上下文压力），后者的解决仍需后训练方法。

Beyond Shapley：影响力驱动的对齐数据审计管线

• 论文信息：Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation，Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin，2026-07-24

• 核心问题：大规模偏好和指令微调语料不可避免地积累隐藏的结构性矛盾、安全风险和系统性人工标注错误。现有审计方法（语义去重、LLM-as-judge）无法捕捉单条记录的实际预测影响，常遗漏深层的功能性规则冲突。

• 关键发现：提出可扩展的推理式数据估值管线，无需迭代重训练即可近似 Shapley 值。将语义 KNN 邻域映射为有向图，通过参考 LLM 的零样本和单样本条件对数似然位移直接评估数据效用，再将预测影响力分数转化为局部优势指标以隔离梯度冲突记录。应用于 HelpSteer2 时，将人工审计搜索空间缩小 99.1%，成功发现多种失败模式下的错误标注记录。应用于 Anthropic HH-RLHF 时，识别出训练和评估集中数千个隐藏的安全和事实偏好倒置。更关键的是，将这些审计延伸到评估集后，暴露了当前基准完整性的严重漏洞：高能力模型频繁预测更安全/更有帮助的响应，却被客观上有缺陷的人工标注判定为错误。

• 实践启示：对齐数据质量审计应从”表面过滤”升级为”预测影响力分析”。影响力驱动的审计不仅能发现训练数据中的标注错误，更能揭示评估基准本身的系统性缺陷——当高能力模型在”错误”的一边时，问题可能出在标注而非模型。这对理解 SFT/DPO 训练中的”对齐税”和评估偏差具有重要参考价值。