研究提案已修订

审计代理的秩相关为何崩塌：合成数据选择中形式污染与逐条—集合错位的双因子解耦

把合成数据选择的审计—下游秩相关崩塌分解为形式污染与逐条/集合错位两个正交因子，并给出可扣除、可切换的审计重建方案

2026年9月20日数据工程合成数据数据选择数据归因评测方法学低资源语言 LLM-as-judge

背景与动机

合成样本进入训练集之前要过一道选择。选择的依据通常不是下游指标，而是一组审计通道：裁判模型判的标签正确率、质量分、反事实一致性、捷径分数。这套做法的默认前提是审计分高的样本对下游更有用。CoSDA（arXiv:2609.18960）把这个前提直接拿去做了受控重放，结果是否定的。四个语言（Amharic、Hausa、Swahili、Yoruba）与两个分类任务（MasakhaNEWS、AfriSenti）组成 8 个 cell，五个等预算选择器各保留 64 例，cell 内「判定的标签正确率」与下游 Macro-F1 的 Spearman 均值 ρ=0.04、中位数 0.00。审计最优者 CoSDA-V2 的判定正确率 0.904，比朴素基线的 0.767 高出 17.9%（相对），下游 F1 只有 0.163；AlpaGasus 判定正确率 0.890，下游 0.202，连朴素基线（0.167）都排在 V2 之前。DEITA 的 0.128 与 CoSDA-EQ 的 0.133 更落在朴素基线之下。

这不是某一条管线的瑕疵。梯度型数据选择（LESS）已经被单独证明在形式上偏倚：Kim 等人（arXiv:2609.19589，KAIST）把 benchmark 做任务与答案形式的正交渲染，同形式类不同任务的去衰减余弦约 0.4，同一 benchmark 换到别的形式类则接近 0.0；这个序在 1B 到 4T token 的预训练检查点、Pythia 与 OLMo 的 base/SFT/DPO/Instruct 各阶段、OLMo 1B/7B/13B，以及 Llama 3.1 与 Qwen3 上都成立。LESS 已发布的选择集（270,679 例池中取 top 5%，13,533 例，三个目标、三个种子）里，每个目标都过度表征它自己的答案形式。

两篇论文给出的主张互补，也都没走到对方那一步。CoSDA 列了三条机制——严格门控剪掉分类器需要的支持样本、多样性、判定分饱和失分辨——其中多样性被它自己的数据否证（AlpaGasus 的多样性 0.590 是五个选择器里最低的，低于朴素基线的 0.593 与 CoSDA 变体的 0.603–0.604），另外两条没有分离：它既没有量化审计分在形式轴上的载荷，也没有把审计改成集合级的量。Kim 等人测出了梯度的形式载荷，没有把它接到任何下游后果上。中间那段空白——审计读数里有多少是形式、扣掉之后还剩多少预测力——目前无人填。

第三条线索指出这段空白的形状。Feng 等人（arXiv:2609.20050，UC San Diego）在代码 Agent 的检索上区分了逐条打分与集合充分性：单个返回项时，独立相似度控制与完整策略只差 −1.40 点（95% CI [−3.26, +1.05]），一旦前缀能容纳多于一个需求，序立刻反转，五项时 66.6% 对 73.0%，差 +6.40 点（[+3.42, +10.46]）。更尖锐的一个数字是，从候选池里均匀取五个不同单元，完整集覆盖率的精确期望只有 5.17%。审计分是逐条的均值，Macro-F1 是保留集的性质，两者计量单位从一开始就不同。

一个容易被略过、但对本提案的立论必要的细节是：CoSDA 的脱钩不只发生在裁判通道上。除判定标签正确率外，它还报了硬性拒绝率与反事实一致性两条不经裁判模型的通道，二者与下游 Macro-F1 的选择器级 Spearman 分别为 ρ=0.20 与 ρ=−0.20，同样接近零甚至反向。这一点把「脱钩」从「LLM-as-judge 的已知缺陷」升级为「审计读数这一整类构造的问题」——如果只有裁判通道失效，换一个更好的裁判即可；现在四条通道一起失效，才需要形式/集合这类结构性解释。同时也提醒本文的实验设计：F 轴与 S 轴的结局变量不应只挂在判定正确率这一个通道上，至少应并行报告反事实一致性通道的结果，避免结论被单通道的噪声绑架。

核心思路

把「审计代理到下游效用」当作可标定、可分解的映射，不当作要绕开的黑箱。设两条正交的处理轴。

F 轴处理形式污染。对候选池构造 {任务} × {答案形式} 的正交网格，沿用 Kim 等人的三类结构（二元判断、四选一、结构化 JSON），让同一任务能换形式、同一形式能换任务。对每个选择器 s 估计判定分 A_i 对指示变量 1[形式(F_i) = 形式(目标)] 的回归系数 β_F^s，控制任务固定效应。去形式审计分定义为 Ã^s = Ā^s − β̂_F^s · (保留集同形式占比 − 池内同形式基准率)。这里有一条必须书面声明的可识别性判据：某选择器的保留集若在形式轴上与池无差异（富集比≈1），β̂_F^s 不可估计，该臂记为 NA，不得填 0 参与平均。

S 轴处理逐条与集合的错位。审计单位从逐条均值换成预算 k 下的最小充分覆盖：为每个目标任务标注其判定所需的原型组（类别 × 显式判别特征组，用反事实编辑生成而非人工枚举），Cover_k(s) 记保留集覆盖的组占比。借 Feng 等人的签名式判据，同时报告 k=1 与 k≥2 处的差值——集合效应若存在，必须在 k=1 处消失、在 k≥2 处出现。

2×2 因子：{去形式, 原审计} × {集合级, 逐条}，因变量为 cell 内 Spearman(审计分, Macro-F1)。四个格子对应四个可区分的结局。只有 F 臂起效，脱钩的主因是形式读数；只有 S 臂起效，主因是覆盖的次可加性；交互项显著，两者必须联合；四格全无提升，则「审计可作代理」的假设不成立。

与现有工作的区别落在三处。CoSDA 诊断了脱钩、给出三条机制却不做分离也不做修复，本文把机制候选变成可减项与可切换的计量单位。Kim 等人只测梯度的形式载荷，不外推到下游，本文把形式载荷变成可扣除的参数并直接检验扣除后的秩相关。Feng 等人的集合充分性服务于推理期检索，本文把它转成训练数据审计的单位。

技术路线

第一步建网格。8 个 cell × 3 个答案形式类 × 2 个任务，共 48 个单元，每个单元生成等预算候选池。形式标签用规则分类器加人工抽检，Kim 等人的实现是约 90% 一致率；误分类会直接衰减去衰减余弦，需要用去衰减恒等式在估计端校正，而不是在标注端凑数。

第二步重放选择器池。CoSDA 已开源五个选择器的保留池与逐条审计记录，直接复用。额外接入一个梯度型选择器（LESS）作为形式载荷的阳性对照，因为它的富集现象已被独立测到。选择器数从 5 提到不少于 12（含随机变体与阈值变体），否则 cell 内秩相关只有五个点，主假设没有检验功效。

第三步跑 2×2 因子，并补做 CoSDA 自己点名却没做的消融：把 CoSDA-V2 的硬拒绝门嫁接到 AlpaGasus 的排序上，看下游 F1 是否跟着走。这一步把 H1（严格门控剪掉支持样本）与形式/集合两类结构缺陷分开。

第四步扩端点。现有证据只覆盖 SFT 一个下游端点（XLM-RoBERTa base 微调）。Laskar 等人（arXiv:2609.17848）在六款 Qwen3（0.6B 到 32B）上做了方法 × 规模的受控比较：SFT 加 LoRA 在 18 个同分布设置里 15 个最优，跨数据集迁移上 GRPO 赢 54 个设置中的 29 个，平均分差不到 1 点，混合数据的迁移稳定。把下游端点加一档 GRPO，检验 ρ 是否随端点变化。

第五步接进搜索。Meng 等人（arXiv:2609.19754，阿姆斯特丹大学与 Weco AI）在 400B token 的 ClimbMix 上用 200 步搜索、GPT-2 125M 代理、val-bpb 与 CORE 两个目标选出 2% 子集，并验证配方从 125M 迁移到 897M。它证明的是「代理上搜出的配方跨规模迁移」，不是「代理排名与下游排名一致」，后者恰是 CoSDA 否证的那一种。把去形式集合级审计作为一个额外适应度臂（保留 val-bpb 臂作对照），记录 200 步里各臂的接受/拒绝分歧率，看终点配方与 CORE 是否改变。

关键技术挑战集中在四处。形式标签的误差会直接乘进 β̂_F，需要在标注端做多重交叉而不是事后平滑。原型组的定义必须可复现，否则 S 臂退化成又一轮主观打分。覆盖率只在固定 k 下可比，预算变动会把覆盖提升与预算提升混在一起，Feng 等人用匹配项数与匹配 token 两档预算处理，本文沿用。统计功效是硬约束，12 个选择器在 8 个 cell 上的 cell 内秩相关仍需 bootstrap 置信区间支撑，主效应预设 Δρ=0.25。

预期成果

定量目标写在主假设上：去形式加集合级的联合审计把 cell 内 ρ 从 0.04 提到不低于 0.35（8 cell 均值）；在 CoSDA 报告为 +0.50 的五个非退化 cell 上，目标不低于 0.70。选择器数不少于 12 时，bootstrap 95% 置信区间半宽控制在 ±0.30 以内。

分离判据预先注册。F 臂单独使 ρ 提升不少于 0.20 而 S 臂不超过 0.05，判形式污染为主因；反过来判集合错位；交互项显著则必须联合建模。

证伪条件一并预先注册。两臂联合后 ρ 的 95% 置信区间仍含 0，则「审计可以充当下游代理」的假设应被放弃，结论转向「选择循环必须内置小预算下游探测」，并把这条结论直接落到 AutoData 的搜索目标改造上。

副产品是一张「审计通道 × 形式富集」对照表。任何已有语料管线都可以拿它读出自己的审计分里有多少是形式读数，这比再报一个 F1 更有迁移价值。

局限性与失效模式

F 臂的可识别性会塌缩。 β̂_F^s 依赖保留集在形式轴上有富集。12 个选择器里若有相当一部分的富集比落在 1 附近（随机变体尤其可能如此），这些臂只能记 NA。这里的失效不是噪声，是设计缺陷：NA 臂过多时，「F 臂有效」与「F 臂无法检验」在统计上不可区分。缓解办法是在选择器池构造阶段就保证至少包含若干已知形式偏倚强度不同的臂（LESS 作阳性对照即是为此），并对 NA 比例设立事前阈值（建议超过 1/3 即宣告 F 臂检验失败，而非报告一个条件均值）。

S 臂可能退化成又一轮主观打分。 原型组的定义若依赖人工枚举，Cover_k 只是把审计分换了个名字。反事实编辑生成能部分解决可复现性，但「哪些判别特征算一个组」这一步仍要预先注册，且组数必须在预算 k 的量级上有区分度——组数远大于 k 时覆盖率地板效应明显，远小于 k 时天花板效应明显。Feng 等人的匹配项数与匹配 token 两档预算正是为了避开这个陷阱。

统计功效是硬约束，且 CoSDA 已经给出警告。 它自己的 bootstrap 置信区间在 V2−naive 与 AlpaGasus−naive 两个对比上都包含零。也就是说，即使把选择器数提到 12，单个选择器的下游差异仍可能测不出来。本文的主效应预设 Δρ=0.25 必须建立在 cell 内秩相关这一统计量上（CoSDA 也是把它当作主推断统计量），而不是选择器之间的两两差值；同时应当把能量分析写进预注册，而不是事后用 bootstrap 解释。

外部效度的边界要写清楚。 CoSDA 的重放是一个生成器（Qwen2.5-14B-Instruct）、一个裁判（Qwen2.5-32B-Instruct-AWQ）、一个下游骨干（XLM-RoBERTa base）、单一随机种子、8 个 cell，且合成文本未经人工验证。Kim 等人的三类形式结构（二元判断、四选一、结构化 JSON）来自英文代码与知识基准，在低资源非洲语言的合成样本上能否同样正交渲染，本身是未验证的前提——若形式类在低资源语料上不可分，F 轴的正交网格就建不起来。第四、五步扩端点（GRPO）与接搜索（AutoData）是缓解外部效度的手段，不是替代：即使两端都跑通，结论仍应表述为「在 SFT 与 GRPO 两类端点上」成立，而不是「审计可作代理」被重新证成。

最可能的证伪路径已经写在预注册里。 两臂联合后 ρ 的置信区间仍含 0，结论就应当转向「选择循环必须内置小预算下游探测」。这条路径的概率不低：CoSDA 的多样性机制被自身数据否证，说明「审计分里到底装的是什么」比本提案假定的两因子可能更复杂，第三方因子（例如生成器的系统性偏差）不在 2×2 设计内。