为什么重要
DSBench 是 Data Science Agent 的核心基准——分析任务要求理解复杂数据并给出精确答案，建模任务要求在 Kaggle 级别的竞赛中达到合理排名。GPT-4o 仅 35%/30%。
构建方式
- 466 个数据分析任务（来自 ModelOff 竞赛）
- 74 个数据建模任务（来自 Kaggle）
- 分析任务有精确答案；建模任务用 Kaggle 排名评分
任务示例
分析：“给定这个销售数据 Excel，计算 Q3 同比增长率最高的产品线” 建模：“给定训练集和评估指标（RMSE），构建预测模型并输出测试集预测”
关键发现
- 分析 35%、建模 30%——说明端到端数据科学仍是大挑战
- 核心瓶颈：长上下文（真实数据集动辄几十列）+ 多步分析一致性
关联基准
- InfiAgent-DABench：端到端数据分析
- MLE-bench：Kaggle 竞赛级 ML 工程
- DataBench：数据理解
不足与展望
- 数据集规模有限，大数据场景未覆盖
- 没测数据清洗和特征工程的创造性