下种轴去同构的难度阶梯：把 NL2SQL 合成数据的难度增益从生成轴与判据偏差中剥离

背景与动机

FALCON（arXiv:2610.03625）把 NL2SQL 合成数据的生成成本压到 20 美元（同规模跑在 GPT-5.5 上约 326 美元，16 倍差），并用保留字下种把合成 SQL 的复杂度推到 BIRD 水平：表 5 里 Spider 下种的 FALCON 数据 SQL 复杂度 0.43，BIRD 0.42，Spider 0.38。它用来证明”合成数据补上了复杂端”的核心证据是一条难度分层曲线——按 SQL 复杂度分位切开，FALCON 训练的模型胜过 Spider 训练的模型，且优势随复杂度上升（图 4）。

这条曲线承担了全部论证责任，而它建立在一根被下种直接控制的轴上。§3.1.1 的保留字下种把目标保留字数直接写进生成提示词（附录 A.1 逐字：the count is passed directly into the generation prompt），表 1 里它是把复杂度抬得最高的那一个杠杆，从 baseline 的 0.42 抬到 0.48。但严格说它不是唯一的：同一张表里的 + Compare Judge 与 + Score Judge 两个过滤臂也把复杂度从 0.42 抬到 0.46（+ Personas 停在 0.42）。区别在机制——过滤臂是筛掉低复杂度样本，保留字下种是把目标量写进提示词。三个杠杆里只有保留字下种直接指定评测端要读的那个量，而它恰好也是抬得最高的那个。§4.1 的复杂度度量用 SQLGlot 加权六个特征：words 与 columns 各 10%，joins、sub-queries、operators、splits 各 20%。后四项合计 0.8 权重，实现全部经由保留字。生成端拧的旋钮与评测端切的尺子，是同一个量的两端。生成器被要求拉高哪个量、结论就在哪个量上成立，这类同构在合成数据领域不是偶发，而是带显式难度旋钮的管线的默认形态。

测试集一侧的约束更紧。图 4 的标题没有标注测试集，其两个 Soft-EX 端点（0.48 与 0.18）与表 7 的 on-Pipe 两行一致，曲线画在 FALCON 自己的留出集上。论文在 A.11 写明了唯一的第三方集是 Spider 测试集（逐字：entirely independent of our generation pipeline），而表 7 在 Spider 上的顺序是反过来的：Soft-EX 0.32 对 0.42，EM 0.80% 对 35.95%。附录 A.5 解释了为什么同一条分层曲线没法画在 Spider 上——Spider 训练集与测试集的复杂度集中在 0.2，0.4 以上是 minimal representation；图 9 里 FALCON 数据却在 0.35 与 0.45 出现双峰并延伸到 0.5 以上。图 4 的高复杂度分位因此只由 FALCON 风格的查询填充，人撰写的同复杂度样本在这份评测里缺席。表 5 已经认证过一个复杂度可比、由人撰写的数据集（BIRD 0.42 对 0.43），它在 A.11 被排除出评测，理由是逐字的：We do not evaluate on BIRD’s test set because our alignment reward model was trained on BIRD-derived pairs。这条污染顾虑只覆盖了 BIRD 的一个通道。BIRD 还有第二个通道没有被同一条顾虑覆盖：保留字下种的目标分布取自 BIRD（§3.1.1 逐字：sampled from BIRD’s distribution），而这个通道正是分层轴本身。

判据一侧也有一个已知方向、未知大小的偏差。表 6 的错误分类里 33% 是 acceptable variation，A.2 对该类别的定义是预测 SQL 与 gold 语义等价（逐字：semantically equivalent to the gold query）。论文自陈这种低估对 FALCON 训练模型的影响大于 Spider 基线（逐字：likely amplified here relative to Spider-trained baselines）。这条 33% 出自 Spider 测试集上 100 条抽样，从未在合成集上重估；图 4 的读数 Soft-EX 是结果集 F1，属于连续量，不做”是否等价”的二值判定。更关键的是这条 33% 的分母只有一侧：§6.1 的原文是「对 FALCON 生成数据微调后的 Qwen 2.5-3B 在 Spider 测试集上的 100 条随机抽样的错误预测」做失效模式分析。也就是说，Spider 训练基线那一臂从未做过同样一份 100 条标注，论文自陈的「相对基线被放大」是一个没有基线侧测量值的比较。一个自陈为不对称、且不对称性本身未被测量的偏差，被留在了头条曲线的读数里，量级未知。

核心思路

提出 SADE（Seeding-Axis-Decoupled Evaluation，下种轴去同构评测）。它不是一个新的生成器，而是一套挂在已有”难度增益”声明上的审计装置，由三个可计算量与四条曲线组成。

第一个量是轴分解。把 §4.1 的六维 SQLGlot 特征拆成两块：$S = 0.2\,(n_{\text{join}} + n_{\text{sub}} + n_{\text{op}} + n_{\text{split}})$，即保留字下种直接控制的 0.8 权重子块；$R = 0.1\,(n_{\text{word}} + n_{\text{col}}) + b$，其中 $b$ 是 gold SQL 里 schema 元素到 NL 指代的绑定深度（外键路径跳数与聚合／分组绑定数之和），生成器没有为它设过旋钮。$R$ 是下种轴的补轴，代表难度里不被下种直接买到的那部分。

第二个量是下种轴匹配权重。按 $S$ 分八箱，对 Spider 训练集做 IPTW 重加权，使它的 $S$ 边际与 FALCON 训练集一致。这一步把”难度覆盖”与”风格同分布”两种解释分开：匹配后若优势消失，说明原先的差异是复杂度暴露；匹配后若优势保留，说明差异来自同一生成管线的文风与格式。$\lambda = 0$ 时本装置严格退化为论文原始的训练对照，$\lambda = 1$ 时为完全匹配，单点可调。

第三个量是执行等价可辨识度 $\alpha$。定义判定器 $\mathrm{EE}(\hat q, q^\*)$：在列投影集合、行多重集、类型归一、ORDER BY 无关化四条规范化之后判结果集相等。$\alpha$ 是 EM 判错样本中 EE 为真、且人工判定满足用户信息需求的比例。每条曲线据此给出双侧读数：上界 $\overline{A}$ 把等价变体算对，下界 $\underline{A}$ 一律算错。上下界在同一分位上给出相反排序时，该分位的结论在当前判据下不可辨识。

第四条曲线处理 BIRD 的污染顾虑本身，而不是绕过它。按 database 做五折交叉拟合：每一折留出该折的 BIRD 题作测试，只用其余折训练对齐模型、生成 FALCON 数据、微调评测模型，再在留出折上按 $S$ 分层画双侧曲线。这把论文排除 BIRD 的理由（对齐模型见过 BIRD 派生的对）直接解除，而不是换成另一个绕路的数据集。

与现有工作的关键区别在于处理对象。OmniSQL、SQLForge、Source2Synth 都在改进生成端——更大的模型集成、模板解析、真实数据源接地；SADE 改的是判定端：给定一条已经报出来的难度增益，问它能在哪些轴、哪些判据、哪些测试集上被复现。

技术路线

第一步，轴分解与共线性审计（零训练成本）。 用 SQLGlot 从 FALCON 数据（n=8,308）与 Spider 训练集（n=7,000）提六维特征，另算绑定深度 $b$。报三件东西：$S$ 与 $R$ 的 Pearson 相关；两个训练集在 $S$ 与 $R$ 上的边际分布及 KS 统计量；Spider 测试集（n=2,147）按 $S$ 分箱后的逐箱样本量，用来把附录 A.5 的”0.4 以上 minimal representation”换算成功效数字。注意口径：8,308 与 7,000 是生成池与 Spider 训练池的规模，A.11 的下游三臂实际各只取 5,500 条（超出时随机采样），混合臂是 95% 合成 + 5% Spider。第二步的训练对照必须落在 5,500 这个量级上才能与论文的表 7 可比，否则条数差异本身就是一个混淆项。这一步附带产出保留字下种的保真度审计：§3.1.1 报的实际 adherence 是 Pearson r=0.6、中位偏差 3 词，把这个偏差按难度分位切开，可以看出 $S$ 分层在高分位上的噪声有多大。

第二步落在训练侧，做的是下种轴匹配重加权。八箱 IPTW，权重稳定化截断在 1/99 分位，报有效样本量 ESS；ESS 低于原样本 30% 时改为分层抽样而非加权。训练沿用 A.11 超参：LoRA rank=16、α=32、dropout 0.05，3 epoch，学习率 2×10⁻⁴，有效 batch 16，completion-only masking。三臂对照：原始 Spider 训练、匹配后 Spider 训练、FALCON 训练。

第三步，残差轴分层与双侧曲线（评测侧）。 在合成集（n=2,000）上按 $R$ 分位重画图 4，并在同一批预测上估 $\alpha$，输出 $\overline{A}$ 与 $\underline{A}$。

第四步是执行等价判定器与外部标定。规范化规则预注册：列投影按集合比较、行按多重集比较、数值类型统一精度、ORDER BY 与别名差异忽略。标定抽 200 条做双盲人工判定，门禁设在精确率 ≥0.90、召回率 ≥0.85；未达门禁则判定器不得进入第三步。

第五步，交叉拟合去污染 BIRD。 五折按 database 划分，每折重训 ModernBERT 对齐模型（沿用 A.6 的混合分：语义相似 40%、schema 实体匹配 60%，对齐模型训练数据为 9,000+ 条 BIRD 派生样本、50% 系统性损坏，与人工判断的 Pearson r=0.70）并重跑生成与微调。⚠️ 这里有一个必须一并关掉的漏口，否则第五步只解除了通道一、没能解除通道二：保留字下种的目标分布取自 BIRD（§3.1.1 逐字：sampled from BIRD’s distribution），而这个分布是分层轴本身。因此每折在重训对齐模型之外，还必须只用训练折的 BIRD 库重新估计保留字目标分布，再生成该折的 FALCON 数据。若仍用全量 BIRD 估计下种分布，则留出折的复杂度轮廓已经通过下种通道泄漏进训练集，第五步的”去污染”名不副实，而它要检验的恰好就是这条轴上的增益。这是五步里唯一需要重复完整管线的环节，按 §6.2 的单轮成本（5 个阶段、平均每条 5 次 LLM 调用，5,500 条约 34.47M 输入 token / 5.13M 输出 token，GPT-5.5 口径约 326 美元、开源模型 + Vast.ai $0.15/小时约 20 美元）估算，五折总预算落在数百美元量级；预算不足时降为三折，或只做留出 20% 库的单折。

关键技术挑战。 一是 $S$ 与 $R$ 共线，若两者高度相关则残差轴没有独立信息，预案是换用执行语义轴（同一 NL 下可执行等价 SQL 的枚举规模）并预注册切换阈值。二是执行等价在空结果集、重复行、浮点比较上的规范化歧义，靠预注册规则加人工标定门禁兜住。三是交叉拟合的折间方差，BIRD 各库题量不均会让折间样本量差异放大，需按库题量做分层分折。

预期成果

五条可证伪预测，每条都带终止线，全部可在不训练新生成器的前提下读出。

P1：合成集上 $\rho(S, R) \ge 0.55$。低于 0.30 说明两轴可分，装置一成立并直接进入 P2；高于 0.85 说明轴去同构失败，按预案换轴。 P2：按 $R$ 分层时，最难分位上的优势相对按 $S$ 分层的 0.30 差值（0.48 减 0.18）收窄 ≥1/3。收窄不足 10% 即构成反证，说明原增益不是下种轴构造出来的，争议以同等强度终结。 P3：合成集上 $\alpha \ge 25\%$。低于 5% 则装置三作废，判据偏差不足以威胁头条曲线。 P4：IPTW 匹配后，最难分位的 Soft-EX 差值相对 0.30 收窄 ≥1/3；收窄不足 10% 说明优势来自风格同分布而非难度覆盖。 P5：在交叉拟合去污染的 BIRD 划分上，按 $S$ 分层后最难分位的 FALCON 训练优势 ≤ +3pp。若达到 +10pp 以上，说明原结论在第三方人撰写数据上成立，本提案提出的担忧被证伪。

交付物是一张三因素表：轴（$S$ / $R$ / 执行语义轴）× 判据（EM、Soft-EX、执行等价）× 测试集（合成留出集、Spider 测试集、去污染 BIRD），共十八格，逐格标注原结论是否复现。P2、P4、P5 中任意两条成立，NL2SQL 合成数据的难度增益报告方式就需要改成”下种轴匹配 + 残差轴分层 + 双侧判据”三件套；三条全部不成立，则以同等强度支持现有做法，本提案的价值退化为一次已完成的可复现性审计。

更外一层的影响在可移植性。任何带显式难度旋钮的合成管线——保留字数、检索跳数、约束条数、工具调用深度——都存在同一个结构：旋钮拧哪个量，增益就报在哪个量上。SADE 的三个量与四条曲线不绑定 NL2SQL，可以整体搬到多跳问答合成、Agent 环境生成、代码任务合成上去。

相关工作

arXiv:2610.03625 — FALCON: A Model and Dataset Agnostic Framework for Synthetic Data Generation for NL2SQL Pairs（2026-10-02，UCSC 与 Adobe）。本提案的审计对象，其保留字下种、对齐过滤与难度分层曲线构成了全部缺口来源。

OmniSQL: Synthesizing High-quality Text-to-SQL Data at Scale（arXiv:2503.02240，2025-03-04）。以模型集成规模化生成高质量 NL2SQL 数据，FALCON 在 §2.3 指出它缺少歧义处理，本提案关注的是它与 FALCON 共有的另一面：难度旋钮与难度分层同源。

arXiv:2505.13725 — SQLForge: Synthesizing Reliable and Diverse Data to Enhance Text-to-SQL Reasoning in LLMs（2025-05-19）。用 SQL 模板解析与迭代式领域探索提升可靠性，依赖闭源模型且复杂查询执行率下降，属于生成端改进路线的代表。

AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries（arXiv:2406.19073，2024-06-27）。FALCON 的歧义打分器在其上微调，该打分器在表 3 的召回率只有 28.6%，构成”歧义感知”声明与难度声明之间的未接通路。

arXiv:2409.08239 — Source2Synth: Synthetic Data Generation and Curation Grounded in Real Data Sources（2024-09-12）。真实数据源接地的合成与策展范式，在 FALCON 表 2 里作为过滤基线出现（F1 7.55，特异性 100.00、召回率 3.92）。本提案的交叉拟合去污染设计沿用了它”接地于真实源”的思路，把接地对象从内容换成评测划分。

局限性与失效模式

一、图 4 的测试集归属是推断，不是论文陈述。 图 4 的标题原文只写「a model finetuned on Spider and the FALCON-generated data for different complexities」，未标注测试集；本提案依据两个端点 0.48 与 0.18 与表 7 的 on-Pipe 两行一致，推断它画在 FALCON 自己的留出集（n=2,000）上。这个推断与 §5 的正文中「Spider 训练模型在 FALCON 上只有 0.05% EM、FALCON 训练模型在 FALCON 上 13.8%」的方向一致，强度足够支撑后续审计，但它是推断。若原作者确认图 4 另有测试集，下面的 P2 与 P4 都要换基准。

二、$S$ 与 $R$ 的拆分依赖 SQLGlot 的六个特征本身可分。 $S$ 取 joins / sub-queries / operators / splits 四项（各 20%），$R$ 取 words / columns（各 10%）加绑定深度 $b$。若 SQLGlot 的 operators 计数与 words 计数在数据上几乎同步变化，$S$ 与 $R$ 会高度相关，残差轴就没有独立信息。P1 把 $\rho(S,R)\ge0.55$ 当作装置成立的判据，但相关高本身也可能是因为两条轴都在量同一个”查询体量”，而不是因为下种真的影响了 $R$。预案里的执行语义轴（同一 NL 下可执行等价 SQL 的枚举规模）与复杂度分数量纲不同，是更干净的 fallback，但它的计算成本高于 SQLGlot 解析。

三、$\alpha$ 的估计需要一个”用户信息需求”的人工判定，而这个判定本身会漂移。 装置三把执行等价 $\mathrm{EE}$ 与用户信息需求两层判据叠在一起，第二层是主观的。FALCON 自己的 A.2 分类里「acceptable variation」的定义是「与 gold 语义等价」，审稿人之间对”是否等价”的边界（空结果集、重复行、聚合顺序）分歧不会小于对”是否满足需求”的分歧。第四步的双盲门禁（精确率 ≥0.90、召回率 ≥0.85）只能保证判定器稳定，不能保证判定器与论文口径一致；两条曲线因此必须同时报 $\overline{A}$ 与 $\underline{A}$，不能只报一个点估。

四、第五步的成本估算可能低估一个数量级。 §6.2 报的 34.47M / 5.13M token 是单轮生成 5,500 条的成本，不含对齐模型重训（9,000+ BIRD 派生样本）、不含微调、也不含第五步要求的”每折重新估计下种分布”。真正的五折预算是「5 × (下种分布估计 + 对齐模型重训 + 生成 + 微调 + 评测)」，其中对齐模型重训与微调是论文没有单独计账的部分。若预算只允许降到单折，则折间方差无法估计，P5 的 ≤ +3pp 终止线就失去置信区间。

五、本提案只审计了”增益报在哪根轴上”，没有审计”增益是否真实存在”。 即便 P2、P4、P5 全部成立，结论也只是「这条难度分层曲线不能作为证据」，而不是「FALCON 的合生数据没有价值」。论文在 Spider 测试集上确实拿到了 0.32 的 Soft-EX 与 27.10 的 mixed EM，混合训练在简单端恢复性能、在复杂端保留优势，这些是不依赖图 4 的独立结果。SADE 的定位是判据审计，不是效果否证。

引用核验记录（2026-10-06）

FALCON 正文回源（arxiv.org/html/2610.03625v1 全文检索）：20 / 326 美元与 >16×、表 5 的 0.43 / 0.42 / 0.38、表 7 的 35.95 / 0.05 / 0.80 / 13.80 与 Soft-EX 0.42 / 0.18 / 0.32 / 0.48、表 6 的 Acceptable variation 33 / 33.0、表 1 的 0.42 → 0.48（及 Compare Judge / Score Judge 的 0.46）、表 3 的 28.6% 召回、表 2 的 Source2Synth F1 7.55、§4.1 的六特征权重（words / columns 各 10%，joins / sub-queries / operators / splits 各 20%）、§3.1.1 的 Pearson r=0.6 与中位偏差 3 词、§4.3 的 5,500 / 2,000 / 2,147、§6.2 的 34.47M / 5.13M、A.11 的 LoRA rank=16 / α=32 / dropout 0.05 / 3 epoch / 2×10⁻⁴ / batch 16 / completion-only masking 与 A.6 的 40%–60% 混合分全部命中。七处逐字引用（the count is passed directly into the generation prompt、entirely independent of our generation pipeline、semantically equivalent to the gold query、likely amplified here、sampled from BIRD’s distribution、BIRD-derived pairs、minimal representation）在全文各命中至少一次，其中 A.11 的两句确在同一段。本轮修正「保留字下种是唯一复杂度杠杆」一处，并补入 5,500 训练口径与第五步的下种分布按折排除要求。