数据论文速递 · 2026年10月06日（下午增补）

本期概览

本期五篇落在同一条追问上：一份数据到底值不值得进训练集，靠什么判。两篇从生成侧入手，一篇用编码器训练动力学给合成数据画像，一篇把「复杂但合法」的样本从「真的错了」的样本里挑出来；两篇从标注侧入手，一篇用两位本地裁判的一致率给伪标签定纯度，一篇换了个少有人测的角度——同一个标注者隔几个月读同一段文字，能不能复现自己的读法；最后一篇把循环、稀疏、模型规模与数据量放进同一个标度律，让数据预算有了可联合寻优的对手方。

一、用训练动力学给合成数据画像

论文信息：Synthetic Data Characterization via Training Dynamics（arXiv:2609.39447，https://arxiv.org/abs/2609.39447 ，3 位作者）

核心问题：LLM 生成的合成数据有什么性质，与人类书写的有机数据在可学习性上差在哪。过去判断合成数据多靠下游任务分数，分数掉下来才知道选错了，缺少对数据本身的直接刻画。

关键发现：作者把「样本级可学习性」当作刻画合成数据的切入点，先造出覆盖单标签分类、多标签分类、标注、树预测四类任务的合成数据集，再从编码器的训练动力学里导出机器数据与有机数据各自的经验分布，并估计这些分布跨编码器的稳健程度。最后一步是检验：按可学习性信号做数据选择，对机器数据与有机数据的影响并不相同。

实践启示：合成数据不是一块可以整体加权或整体丢弃的均质料。进池子之前先跑一遍训练动力学，把可学习性的分布画出来，再决定选多少、从哪段分布里选；同一套选择策略照搬到有机数据上未必成立，两类数据源应当分开定阈值、分开验收。

二、FALCON：把难度留在合成 NL2SQL 数据里

论文信息：FALCON: A Model and Dataset Agnostic Framework for Synthetic Data Generation for NL2SQL Pairs（arXiv:2610.03625，https://arxiv.org/abs/2610.03625 ，6 位作者）

核心问题：关系库上的自然语言访问需要落到 schema 实体与关系上，还得应付人提问时的天然歧义。已有的 NL2SQL 合成方法基本忽略这层歧义，造出来的查询过度简化，训出来的模型接不住真实结构化数据的复杂度。

关键发现：FALCON 用保留字 SQL 播种加人格化提示生成结构复杂的查询，再用对齐式过滤保住难度——这一步的作用是把「真的错了」的样本与「复杂但合法」的样本分开，后者常被朴素过滤误杀。人工评测确认跨模型规模质量稳定，生成数据在 SQL 复杂度与自然语言丰富度两项上都超过现有基准。难度分层分析给出最硬的结论：查询越复杂，FALCON 数据训出的模型相对基线训练模型的优势越大。掺入少量现有基准数据做混合训练，可以补回简单查询上的表现，又不丢掉复杂查询上的优势。整套设计不绑定模型与数据库，紧凑的开源模型就能在本地产出高复杂度训练数据。

实践启示：合成数据流水线的过滤环节最容易把难度一起滤掉。判据应当从「像不像标准答案」换成「是否合法且复杂」，并用难度分层评测而不是平均分来验收，否则越过滤越平庸、训出来的模型只能在简单题上好看。

三、两位本地裁判一致才留标签

论文信息：Curating Merchant-Matching Training Data with Two Confidence-Gated Local LLM Judges（arXiv:2609.33878，https://arxiv.org/abs/2609.33878 ，3 位作者）

核心问题：商户匹配要把一条噪声很大的支付描述解析到某个检索到的商户实体，或者判定无匹配。做伪标签时最难拆的一件事是：教师模型弃权，究竟是它不确定，还是确实不存在可接受的实体。把弃权一律记成负例，假 no-match 标签会污染整批伪标签；反过来保守标注又会把覆盖面压下去。

关键发现：方案是两个本地 LLM 裁判一致才保留标签，且对「选中」与「弃权」设分离的有序阈值，由此保证正负标签集不相交。在 2000 条专家标注查询上的回溯重放显示，抬高选中阈值能改善正例纯度，抬高弃权阈值却会增加假 no-match。阈值取 (0.86, 0.80) 时，Muse Glimmer 30B 与 Gemma 4 31B 联合标注 1633 条查询，覆盖率 81.7%，总体纯度 96.88%，正例纯度 99.47%、负例纯度 93.38%，比同阈值下任一单模型高出两个百分点以上，代价是覆盖更低。切半检验显示阈值选择带来的乐观偏差只有 0.14 个百分点。把阈值对称地都设成 0.86，会多出 40 条错误 no-match 标签；即便完全不设置信度阈值，仍有 46 条错误弃权留着。五组同模型对比里，加大推理努力没有明确的 F0.5 增益，中位延迟反而涨到 1.8 至 5.0 倍。作者在结尾把边界划清：这项研究证明的是标签纯度，不是学生模型的下游效用。

实践启示：正负伪标签要分开定阈值、分开审计，一个阈值管两侧一定会在某一侧出血。教师弃权不该直接落为负例，需要单独的弃权通道。加大推理算力换不来标签质量，只换来延迟。纯度指标再漂亮也只是中间态，最终仍要拿新鲜数据做一轮策展加微调来兑现价值。

四、边界稳、标签却变：一种可测的数据质量

论文信息：Boundaries Agree, Labels Do Not: Intra-Annotator Dynamics as a Kind of Training Data（arXiv:2610.04370，https://arxiv.org/abs/2610.04370 ，1 位作者）

核心问题：解释性标注没有可以裁定「准不准」的 ground truth。现有两条路线，一条把多位标注者合并成 ground truth 并测彼此一致率，另一条把分歧本身当信号——两条都在同一时间点上比较不同的人。作者换了个维度：同一个读者隔一段时间重读同一段文本，能否复现自己的读法。

关键发现：一位人类专家与三个 LLM 家族分别对三篇苏美尔神话做切分，并给每段标注七种因果功能之一。相隔数月的两轮里，人类切分位置高度一致，标签却改了，三篇神话全部如此。模型没有这种稳定模式：两层之间的差距在不同神话里正负不一，幅度也不固定。人类的标签变化并非随机，两轮走过几乎相同的功能序列，只是起点错开一步；模型的两轮则从相同位置起步。

实践启示：这条规律可直接当数据质量指标与污染检查用：一份号称人工标注的数据，若标签与边界一样稳定、功能序列又严格同步，就更像模型产出而非人工产出。做语料审计时，与其只算标注者间一致率，不如补一次跨时间的自我复现测试。

五、循环、稀疏与数据放进同一个标度律

论文信息：Scaling Laws for Looped Mixture of Experts（arXiv:2609.40316，https://arxiv.org/abs/2609.40316 ，3 位作者）

核心问题：循环Transformer与 MoE 是两条互补的高效扩展路线——循环在参数固定时加深计算，MoE 稀疏在激活算力固定时扩张总容量。已有的标度律只单独建模循环或稀疏，没有把两者连同模型规模、数据量放在一起。

关键发现：作者提出 Loop Scaling Laws，把循环、稀疏、模型规模、数据四项联合建模，核心是一个有界且以稀疏为条件的循环映射，刻画循环带来的等效参数增益，以及稀疏如何把这份增益抬高。该律对循环模型留出损失的预测精度超过已有方案，且把标准稠密标度律与 MoE 标度律收作特例。下游评测显示两条轴互补：稀疏带来约 3 倍的激活参数效率，循环在推理任务上带来约 2 倍的总参数效率。万亿 token 尺度上，训练算力对齐时，用律导出循环深度的循环 MoE 能追平约 2 倍大的非循环 MoE，还顺带获得推理期靠循环做 test-time scaling 的能力。

实践启示：数据预算不必再单独与参数规模对折。循环深度、稀疏度、模型规模、token 量可以在同一条律上联合寻优，算力与显存约束下多两个可调旋钮。做万亿 token 级预算规划时，把循环当作参数效率的兑换项来算，比只盯着稠密曲线更接近最优。

小结

五篇给出的判据各不相同，指向同一个动作：给数据侧的决策补一层可测量性。合成数据有可学习性分布可画，过滤环节有难度分层可验，伪标签有纯度与覆盖率可分开设阈，人工标注有跨时间自我复现可测，训练预算有联合标度律可算。共同的前提也一致——先定义清楚测的是什么，再谈这批数据该不该留。