为什么重要
CoSQL 比 SParC 更贴近真实场景：它模拟了数据库管理员（DBA）与用户之间的自然对话，包含澄清问题、拒绝不合理请求、建议替代查询等真实交互模式。
构建方式
- 基于 Spider 的 200 个数据库
- 通过 Wizard-of-Oz 方法收集人人对话
- 用户可以提问、澄清、修改；DBA 可以询问、建议、拒绝
- 三个子任务：SQL 生成、用户意图分类、DBA 回复生成
任务示例
用户：“What’s the most popular major?”
DBA 回复：“Do you mean by number of enrolled students or by number of applications?”
用户：“By enrollment”
SQL：SELECT major, COUNT(*) FROM students GROUP BY major ORDER BY COUNT(*) DESC LIMIT 1
关键发现
- 意图分类（SQL生成 vs 澄清 vs 拒绝）本身就是挑战
- 模糊查询的处理能力差异大
- 对话长度越长准确率越低
关联基准
不足与展望
- Wizard-of-Oz 数据可能不完全反映真实用户
- 不涉及数据库 schema 发现
- 需要加入数据可视化等扩展任务