为什么重要
NL2SQL 领域广泛使用的执行准确率（EX）指标正在变得不可靠——它对语法变化过于敏感（等效 SQL 可能被判错），忽略了用户问题的多义性，而且容易被错误的 ground-truth SQL 误导。这三个问题使得现有 NL2SQL 方法的真实能力被低估或高估。ROSE 被 ACL 2026 Main 接收，提出了一种根本性的评估范式转变：评估预测 SQL 是否回答了用户的问题，而非是否匹配参考答案。
核心设计
ROSE 采用对抗式 Prover-Refuter 级联架构。SQL Prover 独立评估预测 SQL 相对于用户意图的语义正确性，不依赖 ground-truth SQL。Adversarial Refuter 随后利用 ground-truth SQL 作为证据挑战并修正 Prover 的判断。配套发布了 ROSE-VEC（人类专家标注的验证集），用于衡量评估指标与人类判断的一致性。
关键发现
在 ROSE-VEC 上，ROSE 与人类专家判断的一致性最高，Cohen’s Kappa 比次优指标提升近 24%。对 19 种 NL2SQL 方法的大规模重评估揭示了四条此前未被发现的洞察，表明传统 EX 指标确实系统性地扭曲了方法排名。