数据论文速递 · 2026年10月06日

本期概览

本期五篇论文落在同一条主线上：数据侧的说法能不能被验证。两篇把「合成预训练数据究竟教会了模型什么」做成可干预的实验，一篇让数据合成流水线自己变难，其余两篇借 OLMo 2 的全开放语料，把「模型知道什么」与「这段文本进过训练集吗」从推测改成可测量。

合成关系数据何时教会模型使用关系

论文信息：When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior（arXiv:2610.03057，https://arxiv.org/abs/2610.03057）

核心问题：关系型基础模型普遍在合成数据库上做预训练，榜单分数却说不清「一份合成语料为什么比另一份好」。有一种解释是高分只来自足够逼真的行级统计，模型压根没学到跨表结构。

关键发现：作者用同一套架构、初始化、训练目标与算力预算训练四个 Relational Transformer 检查点，语料来自四个关系数据生成器，把问题当数据归因来解。假设是：只有当跨表信息对掩码单元预测目标构成预测上的必需时，关系机制才会长出来。RelDiff 的外键父表带来的预测增益最大，它对应的模型是唯一对未见数据库上外键干预敏感的一个。该依赖在随机初始化对照下依旧成立，随损坏链接比例单调增强，并定位到一条串行的跨表通路。在下游推理时破坏同一机制，RelDiff 在关系任务上的优势随之消失，对结构不敏感的模型几乎不受影响。

实践启示：挑合成语料，别只看行级分布像不像真的，要看跨表依赖是否构成预测上的必需。这条性质可以做成可计算的筛选指标：父表通过外键给掩码单元带来的预测增益，直接预告训出来的模型会不会用关系。

表格基础模型的合成数据溯源

论文信息：From Behavior to Provenance: Attributing Tabular Foundation Models to Synthetic Pretraining Data（arXiv:2610.02347，https://arxiv.org/abs/2610.02347）

核心问题：训练数据归因宣称能指出哪些训练样本塑造了模型行为，而因果训练影响很少可观测，这类宣称难以验证。

关键发现：作者主张受控的合成预训练让归因变成可实验检验的事。他们用 O’PRIOR——一个带溯源信息的表格基础模型合成任务生成器——搭出测试床，每个预训练任务都带有结构机制、缺失、混淆、捷径、分布偏移上的显式谱系。方法上把行为条件归因、反事实重训与溯源感知干预组合起来。在留出的真实任务上，删掉归因得分最高的 5% 合成任务，平均 ROC-AUC 下降 0.013，等量随机删除是 0.002±0.004；删掉得分最低的那批反而提升 0.003。在带捷径谱系的任务里，定向删除的效应是 0.043，等量随机删除只有 0.016。按排序 AUROC 衡量的溯源区分度只有 0.55 到 0.62，与 top-k 富集程度形成反差。

实践启示：归因排名的区分度与干预层面的忠实度不是一回事。用它筛合成数据，验收标准要看「删掉这批之后指标掉多少」，不要看排序指标。得分最低的那批删掉有正向收益，说明合成语料里存在可以直接裁掉的负贡献部分。

推理数据合成流水线的自我进化

论文信息：Recursive Harness Self-Improvement for Frontier Reasoning Data Synthesis（arXiv:2610.03548，https://arxiv.org/abs/2610.03548）

核心问题：要生成越来越难的推理题，合成流程得随任务分布变化而调整。现有的任务级递归只把生成的题目当种子复用，构造题目的那套工装（harness）一直不变。

关键发现：作者提出任务与工装共同进化的 RSI 框架。在线自我改进把生成过程中的求解失败转成可复用技能；批次结束后的自我改进修订技能、提示与工作流，只有当候选能在成本增幅可控的前提下产出更难且合法的题目时才被采纳。模型权重与验证标准保持不动。数学、代码、科学三类任务上，平均求解准确率在十四轮演化里从 100.0% 降到 54.8%。消融显示两种更新节奏并用，产出的题目比固定工装递归或只用其中一种更难。这批数据对下游 SFT 与 GRPO 有增益：27B 学生模型在 1 万条合成数学样本上微调，APEX 上 mean-16 准确率达 62.5%。

实践启示：数据合成里该被迭代的不只是题目，还包括生成题目的提示、技能库与工作流。给工装加一条采纳门禁：新版本必须让题目更难、仍然合法、成本增幅有界。求解准确率从 100.0% 掉到 54.8%，可以当数据难度增长的进度条用。

从训练数据到行为输出的因果追踪

论文信息：LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs（arXiv:2610.02902，https://arxiv.org/abs/2610.02902）

核心问题：对参数化知识的分析大多只看输出，在不核对模型究竟训过什么的前提下断言它「知道」什么。正确答案来自泛化还是背下来了，一直停在推测层面。

关键发现：LUMOS 依托 OLMo 2 的全透明训练语料，沿「训练数据曝光 → 内部编码 → 行为输出」这条因果链做诊断。以经过核实的曝光为基础，模型对稀有事实的内部可分性达 84%，行为层面只表达出 54%，这条检索缺口随规模增大而收窄。让模型对自己的答案做自评时，在训过的内容上表现可靠（83%），到未见内容上跌到随机基线水平（49%）。链式思考提示没有扭转这个塌落，它抬高的是置信度信号，不是校准。

实践启示：评测知识类能力时把训练数据这一轴补上，按「见过 / 没见过」分开统计。内部可分性 84% 与行为表达 54% 之间的缺口说明：一批知识进了权重却取不出来，这部分更适合靠检索或重训补齐，而不是靠提示工程硬拉。

成员推断基准 OLMo-Detect

论文信息：OLMo-Detect: A Multi-Stage, Confounder-Controlled Benchmark for Membership Inference on Large Language Models（arXiv:2610.02986，https://arxiv.org/abs/2610.02986）

核心问题：成员推断要在拿不到训练语料的前提下判断一段文本是否进过训练集。已有基准有三个短板：覆盖的训练阶段有限、成员与非成员分布不对齐、非成员缺少针对训练语料的严格过滤。

关键发现：基准建在完全开放的 OLMo 2 流水线上，覆盖预训练、中训练、后训练三个阶段，在三个关键轴上显式对齐成员与非成员，并用 infini-gram 严格过滤非成员；另有成员与非成员故意不对齐的 Shifted 变体。15 种无监督与 3 种有监督攻击的评测结果：最好的无监督与有监督方法 AUC 都只有 0.68，有监督方法在跨域评测下退化；攻击效果在中训练阶段达到峰值，预训练与后训练阶段较低，驱动因素是数据类型而不是阶段——精选数学数据的可检出性远高于其他类型；分数从 1B 到 13B 上升，到 32B 趋于平缓；没有一种无监督方法扛得住分布偏移，AUC 偏移最高达 0.42。这些结论在 OLMo 3 与非 OLMo 模型上同样成立。

实践启示：用成员推断做去污染或版权审计，0.68 的 AUC 上限意味着漏检是常态，不能拿它当唯一门禁。中训练阶段的语料最容易被认出来，发布前自查要把它单独拎出来处理；精选数学数据尤其容易被检出，对外公开需另做脱敏。

小结

本期五篇的共同点是都在给数据侧的判断找可核验的落点：合成语料的价值用干预实验测，合成流水线的进化用采纳门禁约束，知识归属与成员判定则靠开放语料把「曝光」变成可查的事实。下一步值得留意的是，这类可核验的做法能否从表格与关系型数据推广到通用文本语料。