为什么重要
WikiSQL 是第一个大规模 Text-to-SQL 基准(80K+ 样本),定义了该领域的标准评测范式。虽然仅限单表简单查询,但其规模和统一格式使其成为 Text-to-SQL 方法的通用起点。
构建方式
从 Wikipedia 表格中自动提取 schema,众包标注自然语言问题和对应 SQL。SQL 仅支持 SELECT-WHERE-AGG 模式(无 JOIN、子查询)。
任务示例
- 表格:国家GDP统计
- 问题:“Which country had the highest GDP in 2020?”
- SQL:
SELECT Country FROM table WHERE Year = 2020 ORDER BY GDP DESC LIMIT 1
关键发现
- 单表场景下模型已接近人类水平
- 执行准确率 vs 逻辑准确率的差异揭示了等价 SQL 的问题
- 为 Spider 等更复杂的基准铺平了道路
关联基准
Spider(跨表 Join)、BIRD(真实数据库)、SParC(多轮)、CoSQL(对话)
不足与展望
单表简单查询已完全饱和,无法区分现代模型。缺乏复杂 SQL 特性(JOIN、嵌套、GROUP BY)。