数据论文速递 · 2026年10月01日

本期五篇论文落在数据归因、数据选择、合成数据、蒸馏数据与标度律五处。三篇给出可量化的工程数字，两篇给出方向相反的负向结论：为省成本而做的两个常见动作（合成数据打包生成、蒸馏时精挑 prompt），代价都被量了出来。

dattri-LLM：把训练数据归因搬进训练循环

论文信息：dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale · arXiv:2609.38767 · https://arxiv.org/abs/2609.38767

核心问题：训练数据归因（TDA）估计单条训练样本对模型输出的贡献。可扩规模的方法都依赖逐样本梯度，而逐样本梯度在大模型上算不起、接不进现有训练栈、也难加新方法。

关键发现：论文从三个方向拆解。效率上，用紧凑梯度表示，并按代价模型动态路由梯度算子。兼容性上，capture 机制直接从已经调用 backward() 的训练循环里收集逐样本梯度，不改循环代码也不改配置，覆盖 DDP 与 FSDP 分布式训练，适配 HuggingFace Transformers、TRL、OLMo 三条流水线。可扩展性上，暴露可复用的梯度算子与训练期回调，支持梯度相似度、曲率类影响函数、轨迹类方法，也支持训练过程中直接作用于梯度的在线数据选择。实测同硬件同负载下，吞吐是竞品中最快者的 3.2 倍；在四张 H200 上把多种归因方法扩到了 110B 参数模型；跨模型族与规模，保真度-成本权衡优于对照。

实践启示：归因的定位从离线补救变成训练循环内的在线环节——在线数据选择被明确列为库支持的应用之一。选型时要把保真度与成本放在一起看，只比单点精度会漏掉吞吐与可扩展性上的差距。对已经在跑 OLMo 或 TRL 的团队，接入成本是这套库最值得关注的部分。

CDIS：梯度特征可以复用，但缓存只保序不保集合

论文信息：Refreshing Less, Selecting Better: Reusing Stale Gradient Features for Efficient Influence-Based Data Selection · arXiv:2609.32888 · https://arxiv.org/abs/2609.32888

核心问题：LESS 这类方法按候选样本的梯度与目标验证梯度的对齐度打分，每到一个新 checkpoint 就重算一遍逐样本梯度特征，这一步吃掉了绝大部分成本。

关键发现：跨三个选择种子、两个模型族、两个候选池、两个目标任务，warmup 之后的 checkpoint 缓存下来的特征配新鲜验证梯度，40 个优化步之后排序保持 Spearman 0.952 到 0.991。问题在集合层面：它诱导出的 top-10% 子集漏掉了全量重算会选中的 10% 到 22% 样本。CDIS 的做法是——按 stale 分数对排名前 p 的候选重算梯度特征，在这些样本上拟合仿射校准，再按来源配额与长度配额选最终子集。刷新比例 p 不低于选择比例时，只要校准后的 stale 分数误差有界就能精确恢复 top-k；p=0.3 时在所有设定下都与全量重算选出的 top-k 完全一致；梯度阶段墙钟下降 3.5 到 3.6 倍。缓存跨四个 checkpoint 迭代，top-k 重叠保持在 0.98 以上，每条样本平均 1.9 个梯度特征，全量重算是 4 个。下游效果上，无约束的 top-k 选择会塌缩到单一数据源，GSM8K 比随机选择低 13 分；CDIS 比随机选择高 12 分，置信区间不含零，比全量重算低 4.3 分（一个训练运行的标准差），选择成本低 3.4 倍。

实践启示：配额约束不是可选项。无约束的影响力选择会把数据池吸干成单一来源，分数越优化、下游越差——这条负向结果比加速倍数更值得记住。缓存复用还附带一个免费的安全检查：被刷新样本上的 stale 与重算分数一致性，可直接用来判断这次复用是否安全。

合成数据：一次请求里多生成几条，会改变变量间关系

论文信息：Shared Autoregressive Context Can Distort Relationships in Synthetic Data · arXiv:2609.32546 · https://arxiv.org/abs/2609.32546

核心问题：为省调用成本，常见做法是在一次自回归补全里让模型连续生成多条记录。前几条答案天然成为后面记录的上下文，这个共享上下文是否影响生成数据的统计结构，此前没人系统测过。

关键发现：在 2000 份欧洲社会调查画像上的配对实验显示，档案、示例、问题、解码参数全部固定的前提下，每次请求生成 10 个而非 1 个受访者，国内变量间相关性的平均绝对误差上升 48% 到 58%（Qwen3.8-27B）与 114% 到 127%（Llama-3.3-70B-Instruct），三个随机种子一致。扭曲的方向主要是把关系强度放大，人类排序大体保留。因果通道也被验证：固定画像与边际分布，只重新配对前面的答案取值，后续回答之间的相关性随之改变。补救手段存在取舍——隐藏前面的答案在被测设定里降低了相关性误差，却让边际精度变差；社会态度、健康、经济三类数据上的探索性修正也显示，更低的相关性误差可以与更差的边际分布和回归估计并存。

实践启示：请求构造属于数据生成过程的一部分，不是无关紧要的工程细节。合成数据的验收要对准它将要支撑的分析：做相关分析就验相关矩阵，做回归就验回归系数，只查边际分布会漏掉这类结构性偏差。打包生成省下的调用成本，需要按下游统计量重新定价。

蒸馏中的 prompt：高效，但不可互换

论文信息：Beyond Prompt Count: How Data Shapes Transfer in On-Policy Distillation · arXiv:2609.37377 · https://arxiv.org/abs/2609.37377

核心问题：在策略蒸馏（OPD）用教师对学生自己采样结果的反馈来训练学生。prompt 选多少、从哪来、怎么挑，在跨教师-学生对的迁移里规律不清。

关键发现：论文系统扫描了 prompt 的数量、来源与选择方式，覆盖 RL 续训对、SFT 续训对与跨模型设定。OPD 的 prompt 效率极高——4 条 DAPO prompt 追平了 3840 条 DeepMath prompt 观测到的数学得分。但 prompt 的效用是关系性的，不是内在属性：只换教师，就能让数学 prompt 与代码 prompt 的相对有效性反转。参数对齐与功能对齐会脱钩，在续训对上，与教师预测一致的变化可以和很弱的参数对齐并存。在有效支持集上继续做 OPD，能把不理想的迁移结果拉回来。两处负向结论：定向选择并不稳定地超过均匀随机采样；剔掉单看表现最差的数据源，在三次配对支持集抽样里没有一致收益。

实践启示：先建随机采样基线，再谈精选 prompt 的溢价。数据源的取舍要以教师-学生对为单位重做实验，别把一对上的结论搬到另一对。遇到迁移不理想，换有效支持集继续训练是论文验证过的恢复路径。

最优数据指数为什么总收敛到 1/3

论文信息：Optimizer-dependent training dynamics converge to the same one-third optimal data scaling · arXiv:2609.37745 · https://arxiv.org/abs/2609.37745

核心问题：loss 随训练呈幂律下降是标度律的核心观察，最近一个解释认为 1/3 指数来自学习尖峰分布。该解释只覆盖 SGD，而实际训练用的是自适应优化器。

关键发现：论文拆开两个此前被混用的指数——单条运行里 loss 随训练步下降的动态指数，与最优调参后 loss 随数据规模 D 下降的最优数据指数。前者随优化器而变，后者跨优化器收敛到 1/3。在线 teacher-student 模型里，loss 被分解为范数增长（径向）与朝教师方向对齐（切向）两部分，各自以动态指数 α_r 与 α_t 幂律衰减。SGD 下两者都接近 1/3，数据指数也随之是 1/3，且跨学习率稳定。Adam 下两者分离：α_r 约 0.48，α_t 约 0.08。总 loss 在两部分平衡时最小，最优学习率随之随优化器而异——SGD 下与 D 无关，Adam 下随 D 下降；但调到该最优点后，loss 都回到 D 的 -1/3 次方。随机动力学分析给出原因：优化器能在两个通道之间交易衰减速度，但都落在同一条关系 2α_r + α_t = 1 上，这条关系把最优数据指数钉在 1/3。七个优化器（含 Muon）的实测指数与该关系一致，最优 loss 包络都吻合 D 的 -1/3 次方。

实践启示：换优化器改变的是每步学多快；调到最优后只改前置系数，不改每样本 loss 的下降速率。做数据预算规划时，D 的 -1/3 次方可以当作跨优化器通用的锚点，不必为每个优化器重估指数。需要留意的是 Adam 的最优学习率随数据规模下降这件事——数据量上去以后沿用小数据的学习率设定，属于论文明确指出的错配。

小结

三条线索值得放在一起看。归因与选择的基础设施正在合流：dattri-LLM 把归因搬进训练循环，CDIS 把选择成本压到三分之一，两者指向同一件事——数据决策要能在训练过程中在线做。两个省钱动作被标了价：合成数据打包生成换来 48% 到 127% 的相关性误差上升，蒸馏里精挑 prompt 换不来稳定超过随机采样的收益。标度律一侧给出了稳定锚点，最优数据指数 1/3 不随优化器移动，变的是最优学习率与前置系数。