返回评测
数据 数据-Text2SQL 已饱和 模态 · 表格 任务 · 结构化输出

WikiSQL

80K 自然语言-SQL 配对的大规模单表 Text-to-SQL 基准

Salesforce Research ·

考察能力

自然语言理解 SQL 生成 表格理解

构建信息

数据规模
80,654 QA pairs, 24,241 tables
评测方式
执行匹配
核心指标
Execution Accuracy / Logical Form Accuracy

模型效果排行

🥇 GPT-4o
92.1%
🥈 BRIDGE v2
92.7%

为什么重要

WikiSQL 是第一个大规模 Text-to-SQL 基准(80K+ 样本),定义了该领域的标准评测范式。虽然仅限单表简单查询,但其规模和统一格式使其成为 Text-to-SQL 方法的通用起点。

构建方式

从 Wikipedia 表格中自动提取 schema,众包标注自然语言问题和对应 SQL。SQL 仅支持 SELECT-WHERE-AGG 模式(无 JOIN、子查询)。

任务示例

  • 表格:国家GDP统计
  • 问题:“Which country had the highest GDP in 2020?”
  • SQL:SELECT Country FROM table WHERE Year = 2020 ORDER BY GDP DESC LIMIT 1

关键发现

  • 单表场景下模型已接近人类水平
  • 执行准确率 vs 逻辑准确率的差异揭示了等价 SQL 的问题
  • 为 Spider 等更复杂的基准铺平了道路

关联基准

Spider(跨表 Join)、BIRD(真实数据库)、SParC(多轮)、CoSQL(对话)

不足与展望

单表简单查询已完全饱和,无法区分现代模型。缺乏复杂 SQL 特性(JOIN、嵌套、GROUP BY)。

Text-to-SQL 数据库 经典基准 大规模