为什么重要
KaggleDBQA 使用 Kaggle 上的真实数据库，而非学术界构造的标准 schema。这些数据库有不规范的列名、缺失值、非标准数据类型——反映真实场景中 Text-to-SQL 的挑战。
构建方式
从 Kaggle 精选 8 个真实数据库，包含不同领域（体育、金融、医疗等）。众包标注自然语言问题和 SQL。保留原始数据的不规范性。
任务示例
- 数据库：NBA 球员统计（列名如 “3P%”, “FG_PCT”）
- 问题：“Which player had the most assists in the 2020 season?”
- 挑战：需理解不规范列名和数据库特定的编码方式
关键发现
- 不规范 schema 导致模型性能比 Spider 低 20%+
- 领域知识是关键——理解列名含义需要领域背景
- 错误类型主要是列名映射错误和条件值错误
关联基准
BIRD（大规模真实数据库）、Spider（标准跨表）、WikiSQL（单表）
不足与展望
8 个数据库规模偏小。缺乏对查询效率的评测。