数据论文速递 · 2026年09月18日

本期概览

本期五篇论文分作两组。前三篇讲训练数据怎么造、怎么选：QVAC Genesis III 放出 191.43B token 的 STEM 合成语料，AutoData 把预训练数据选择变成智能体可搜索的程序空间，Form Over Content 给梯度归因类选择方法泼了一盆冷水。后两篇处理风险与预算：数据归因能否挡住 subliminal learning 的行为传染，以及架构改动能不能改写 scaling 指数——在数据受限的多轮训练里，结论跟直觉相反。

一、QVAC Genesis III：191.43B token 的开放 STEM 合成语料

论文信息：QVAC Genesis III: A Large-Scale, High-Quality Open Synthetic STEM Corpus for Efficient Language Model Pre-Training，arXiv:2609.19513，2026-09-17，5 位作者。

核心问题：面向端侧与 on-device 部署的教育类、STEM 类模型，token 预算紧，对每 token 学习价值的敏感程度远高于大厂的大模型。开源一侧缺少 STEM 方向的合成语料，已有的 Cosmopedia 一类数据集不以 STEM 为主。

关键发现：语料 191.43B token，覆盖 19 个学科域，按难度与教学风格分层。生成走双路教师蒸馏，把一个弱小的端侧学生模型当作信号源：学生答错的题目转成纠错式讲解，答对的题目扩展成覆盖全部选项的对比式推理。评测侧提出 LLM-as-a-parser 协议，从自由生成里抽出最终答案，把准确率与答案有效性分开统计。1.7B 参数模型从零训练的受控对比显示，该语料在 ARC、GPQA Diamond、MMLU STEM 上稳定超过用 Cosmopedia-v2 训练的模型与公开发布的 Cosmo-1B，ARC-E 最多 +28.57 个百分点，ARC-C 最多 +21.35 个百分点，Valid Answer Rate 最高 99.45%。

实践启示：把弱模型当作数据生成的探针，比让强老师单向往下灌更省。学生错在哪，哪里就是该补数据的地方，这条思路可以直接搬到任何自带评测集的垂直域。

二、AutoData：把预训练数据选择交给智能体搜索

论文信息：AutoData: Agentic Search for Pre-training Data Selection，arXiv:2609.19754，2026-09-17，5 位作者。

核心问题：智能体已经能改模型和训练代码，靠执行反馈做迭代优化，数据却还留在这个优化环路之外。已有的数据配比方法大多只在一组固定域上搜权重，搜索空间窄，特征之间的交互靠人手工设计。

关键发现：作者把预训练数据选择重新表述为「在每篇文档的特征上做启发式工程」，特征包括词汇统计、类别标签、困惑度。AutoData 不搜权重，直接搜可执行的选择算法：评分、分层、随机选择规则组成的程序空间，靠小代理模型的验证反馈反复改写算法，自动发现特征交互。一夜的搜索量级内，它找到的选择算法就超过了人工设计的清洗管线；配方只在小代理上搜出来，迁移到更大尺度后 CORE 指标仍然改善。

实践启示：数据清洗规则不该写死在管线里。把它暴露成可搜索的程序，让代理模型的验证信号来筛选，是把数据工程并入自动化的可行路径。小代理上搜出的配方能迁移这一点，意味着搜索成本可以压得很低。

三、Form Over Content：梯度归因选中的是格式，不是任务

论文信息：Form Over Content In Gradient-Based Data Attribution Methods，arXiv:2609.19589，2026-09-17，5 位作者。

核心问题：用梯度相似度做数据归因与数据选择已被广泛使用，它到底在度量什么却一直有争议：一派认为它挑出的是任务相关的能力，另一派报告说表面形式才是主因。

关键发现：作者让任务与答案格式两个变量各自独立变化——同一 benchmark 渲染成不同答案格式，于是可以做出「共享任务不共享格式」与「共享格式不共享任务」的数据对。梯度对齐跟的是答案格式：共享答案格式的 benchmark 对之间，去衰减余弦接近 0.4；同一 benchmark 换成不同格式类，对齐接近 0.0。这个排序从最早的预训练检查点一直成立到后训练阶段，跨模型规模与模型族都成立。回头看 LESS 公布的指令微调选择结果，每个目标任务的选中样本都过度代表了该目标自己的答案格式。

实践启示：拿梯度归因选数据时，先检查目标集的答案格式分布。选中样本格式同质，等于把选择退化成一次格式匹配，看上去是任务对齐，落到数据上就是格式漏斗。评估这类方法，务必用格式与任务可分离的数据集。

四、数据归因挡不住 subliminal learning 的行为传染

论文信息：Can Data Attribution Filter Out Subliminal Learning? Not Reliably，arXiv:2609.20027，2026-09-17，8 位作者。

核心问题：subliminal learning 让模型通过语义上毫无关系的训练数据传递行为特质，基于内容的过滤随之失效。训练数据归因被看作替代方案：它按对模型行为的实际贡献定位训练样本，不看语义，恰好覆盖语义检查失灵的场景。

关键发现：作者在三个模型上评测三种梯度归因方法（GradCos、GradCos 的对比变体、EK-FAC），对照基线是 divergence tokens，即此前已知能定位 subliminal learning 的强基线，代价是需要反事实的教师模型。token 级过滤时，EK-FAC 削掉了相当一部分效应，另两种方法收益很小，三者都追不上 divergence tokens。整样本过滤对所有方法都更差，EK-FAC 在这个设置下给出的信号反倒常强于 divergence tokens。跨方法与设置的表现并不一致：某些模型—偏好组合上有效的变体，换一组就失灵，作者没有找到稳定解释。

实践启示：别把数据归因当成数据安全的兜底手段。它在部分场景能定位问题样本，成功率取决于具体方法与模型组合，token 级比样本级更有效——过滤粒度是要调的参数，不是默认值。

五、架构能改写 scaling 指数，数据受限时尤其明显

论文信息：How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents，arXiv:2609.19107，2026-09-16，4 位作者。

核心问题：scaling law 描述 loss 随算力下降的规律，通常被当作与架构无关的幂律。作者要问的是架构干预能不能改动指数本身。

关键发现：以 looped transformer 为锚点，循环（递归深度）在训练中增加循环次数即构成一种模型增长。模型增长对 scaling 指数改动最大，共享权重与否都算：一个 7.4B 的模型增长架构在 CORE 上追平 GPT-3 13B，算力约为后者的二十分之一，效率优势随规模继续扩大。只在普通 transformer 上加一个 boundary operator（归一化并回注前面的块），也能拿到随规模增长的效率提升，幅度小一些。在数据受限、多轮训练的设置下，标准循环起到正则化作用，算力最优策略是随规模增加循环次数。

实践启示：数据不够、只能多轮重复训练时，加深度比加参数更划算。这条结论直接挑战「多轮必然过拟合就别加容量」的默认做法，值得在多 epoch 的垂直域预训练里试一遍。

小结

本期五篇的分野很清楚。造数据与选数据的技术仍在快速推进，支撑选择的归因方法正被拆台：格式偏见与 subliminal 场景的失效都说明，用梯度相似度给数据打分需要更严格的验证协议。数据受限时的架构选择属于同一类问题，直觉给出的答案未必站得住。