SEDE

为什么重要

SEDE 包含真实用户在 Stack Exchange Data Explorer 上编写的 SQL 查询，比 Spider 等人工构造的基准更贴近真实工作场景。查询涉及复杂的 JOIN、子查询、窗口函数等高级 SQL 特性。

构建方式

1. 收集 Stack Exchange Data Explorer 公开查询
2. 提取自然语言描述和对应 SQL
3. 过滤和标注

任务示例

自然语言：“Find the top 10 users by reputation who joined after 2020 and have more than 100 answers.” SQL：包含 JOIN、WHERE、ORDER BY、LIMIT 的复杂查询

关键发现

• 真实 SQL 查询远比学术构造的复杂
• 模型在窗口函数和 CTE 上出错率高
• 表名/列名的模糊匹配是主要挑战

关联基准

• Spider：跨数据库 Text-to-SQL
• BIRD：大规模真实 Text-to-SQL
• SParC：多轮 Text-to-SQL
• CoSQL：对话式 Text-to-SQL

不足与展望

• 仅限 Stack Exchange 数据库 schema
• 部分查询过于特殊化
• 但真实查询的代表性无可替代