数据论文速递 · Vol.99

数据论文速递 · 2026年09月06日

本期五篇：LLM裁判在共享端点上两次预注册审计均未通过、在线策略蒸馏压到一条query仍恢复大部分增益、输出格式把指令微调数据质量与能力测量一起带偏、表格基座纯合成预训练登顶OpenML-CTR23、ToolGate用三道可执行闸门把500条候选筛到128条

论文速递 arXiv 数据质量 LLM-as-a-Judge 数据蒸馏 指令微调 合成数据 表格基座 基准构建 数据审计

本期五篇围着同一件事打转：数据流水线里那些「测出来的数」能不能信。三篇在做测量审计——LLM 裁判隔天的读数还一致吗、数据质量分数是不是输出格式的副产品、基准题目到底是人工互检出来的还是脚本验出来的；两篇在做极限测试——蒸馏数据压到一条 query 还剩多少收益，表格基座完全不碰真实数据能走多远。

1. LLM 裁判不是稳定仪器：共享端点上的预注册审计失败

论文信息：Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints（arXiv:2609.04198，https://arxiv.org/abs/2609.04198）

核心问题：LLM 裁判正在替训练数据把关、给生成结果打分、驱动排行榜。这套做法藏了一个很少被说出口的假设：同一个请求发给同一个模型名，明天读到的数还是同一个。

关键发现：两项预注册审计，所有阈值事先固定，两项都没能走完「先验证仪器」这一步。52,988 次审计请求中，同窗口重复排序的 Spearman 相关为 0.400，预设门槛是 0.90；隔天用字节完全一致的输入重放，相关性 0.78，预设门槛 0.99，两次的执行记录都打满。三个机制解释这个差距：标签到语义的映射对读数的影响与被测信号一样强；候选之间的差距比仪器自身噪底低七个数量级；字节相同的输入会返回不同排序，精确置换读数会把这种噪声放大。预注册的后续实验划定了补救边界：等待没用（0.805 对 0.800，另五天复现）；换供应商没用（四家供应商共享同一噪底，中位数 0.74 到 0.88，它们暴露的元数据字段都预测不了）；用 batch-invariant 内核自托管只在服务器空闲时有效；在已知差距的构造错误上，读数的区分度跟着错误类型走，不跟着错误大小走。作者给出三级快照身份阶梯、八条设计规则和一份报告清单，并指出用该研究约 2% 的调用量做预实验，就能提前暴露两个无法达到的门限。

实践启示：把 LLM 打分接进数据清洗流水线之前，先测这台仪器本身，再冻结任何阈值。换供应商、换打分提示词都要重跑稳定性审计；从总调用量里拿 2% 做 pilot，就够判断门限是否设得过高。文末的报告清单可以直接抄进内部的评审模板。

2. 一条 query 能撑起多少蒸馏：在线策略蒸馏的数据最小化极限

论文信息：Rethinking On-Policy Distillation of Large Language Models II: One Training Example（arXiv:2609.04172，https://arxiv.org/abs/2609.04172）

核心问题：在线策略蒸馏（OPD）把学生自己的 rollout 与教师的稠密 token 级监督结合，已有工作主要研究算法行为，数据在其中的角色并不清楚。

关键发现：作者把训练数据压到极限——只用一条 query。单条 query 的 OPD 能持续改善数百步，并在多个任务域和模型家族上恢复全量数据 OPD 的大部分增益。解释工具是 state coverage，即某个 query 集合的 rollout 覆盖到全量 OPD 所访问状态的比例：单条 query 已覆盖 71.5%，大部分覆盖出现在前 100 步内；加入语义不同的 query，覆盖率与验证准确率一起上升，16 条 query 达到 98.9%，追平全量训练。学生与教师的对齐速度在单 query 与全量数据下衰减得差不多，固定状态集合也要数百步才吸收完。作者据此判断 OPD 处于「数据过饱、算法饥饿」：rollout 很快铺开监督面，学生吸收的速率才是瓶颈。该结论延伸到多教师 OPD，每域 16 条语义多样的 query 即可追平全量 MOPD；作为压力测试，内容稀薄的模板与域外 WildChat query 也接近真实 query 基线。

实践启示：蒸馏数据预算可以大幅压缩，采购重点从「堆量」转向「保证语义多样」——16 条覆盖 98.9% 状态这条曲线值得自己复现一遍再定预算。瓶颈在步效率，加数据不如改吸收速率。任务内容与所诱导的状态覆盖可以脱钩，选 query 时别只看文本质量。

3. 输出格式如何污染数据质量与能力的测量

论文信息：How Output Format Confounds Data Quality and Capability in Instruction Tuning（arXiv:2609.02015，https://arxiv.org/abs/2609.02015）

核心问题：指令微调数据用质量指标评，微调后的模型用榜单评，两种判断都要经过同一个界面——答案被写成什么表面格式。

关键发现：实验覆盖 12 个任务、4 种语义等价的输出接口、3 个模型家族以及受控的语义损坏。谱统计量（如 effective rank）在理论上对接口旋转不变，经验上对语义损坏也不敏感，携带质量信号的是更新方向。接口变化带来的残差不是噪声：它在三个家族上都能识别出该数据单元自身的目标任务。能力本身相对训练接口存储——某项技能在其训练格式下把准确率提高 40 多个百分点，换到别的格式下几乎看不出效果；只修正一个生成 budget 参数，就足以让 GSM8K 上微调效果的测量值从增益翻成大跌幅。

实践启示：报告数据质量分数必须一并报告输出格式，否则数字不可比。跨格式得出的「数据 A 优于数据 B」结论需要重做。评测侧的生成 budget 与格式模板要像随机种子一样冻结并写进实验记录。

4. 表格基座完全不碰真实数据：纯合成预训练走到哪一步

论文信息：Xiaomi-TabLDM: A Tabular Foundation Model Technical Report（arXiv:2609.03880，https://arxiv.org/abs/2609.03880）

核心问题：表格任务长期依赖逐任务微调与真实业务表，一个靠上下文学习就能泛化的表格基座，能不能只用合成数据预训练出来。

关键发现：Xiaomi-TabLDM 的预训练语料全部来自结构因果模型（SCM）生成的合成表，真实数据只在评测时出现。规模与多样性被刻意拉开，配合三阶段训练策略、双流特征分组、轻量 Attention Residual 与稀疏 MoE。结果是 OpenML-CTR23 排名第 1，回归任务在 TALENT、TabArena、BCCO 三套基准上均列第 2；在 TabArena 回归上拿到第二高的 Elo，训练时间比排名第一的 TabFM 少 82%，预测时间少 68%。模型还支持测试时算力扩展，推理阶段多给算力能持续改善预测。

实践启示：表格这类结构明确、语义稀疏的领域，合成数据的天花板比文本场景更高，SCM 生成器的覆盖率与多样性就是核心竞争力。做内部表格模型时，先评估合成管线能覆盖多少因果结构，再决定要不要花成本攒真实表。性能—效率比（82%/68% 这组数字）比单点准确率更适合做立项依据。

5. ToolGate：把基准构建从人工互检改成可执行验收

论文信息：ToolGate: An Executable Acceptance Pipeline for Tool-Dependent Scientific Benchmark Construction（arXiv:2609.02067，https://arxiv.org/abs/2609.02067）

核心问题：科学类基准通常由领域专家出题再交叉核对，或从教材论文里改编，每条都要投入人力。语言模型能快速给出候选，卡住的地方在验收：哪些候选真的值得留下。

关键发现：ToolGate 面向那些必须跑专业软件才能作答、纯推理答不上来的科学问题。每条生成结果只当作提案，通过三道闸门才留下：可执行解算脚本用专业软件跑出的答案必须与提案一致；随机化的无工具筛查淘汰模型只看提示词就会答的题；带工具智能体必须在限定时间内解出幸存题目。无效定义为脚本报错或答案不一致，平凡定义为不靠软件也能答对。作者在 FEniCSx 上实例化，500 次生成尝试中本地验证闸门留下 478 条；报告前重新筛查，两轮随机无工具筛查排除 222 条，用中等推理档的 GPT-5.5 API 直连再排除 121 条；剩下 135 条里，接入 FEniCSx 的 GPT-5.5 Codex CLI 智能体解出 130 条，精确去重后保留 128 条唯一协议幸存者。

实践启示：500 进 128 的漏斗说明「生成容易、验收难」在基准建设中同样成立，值得照抄的是闸门设计而不是模型选择。三道闸门分别对应正确性、非平凡性、可解性，映射到内部数据质检上就是「答案可复现」「模型不会做」「做了能做对」三个可审计条件。领域设计与终审仍留给专家，机器只承担可审计的重复劳动。

其他值得留意