为什么重要
ML-Bench 覆盖了 ML 工程全链路：数据预处理、模型训练、超参调优、结果评估。它基于真实 GitHub ML 仓库，反映了 AI 研究人员的日常工作。
构建方式
- 从 18 个真实 ML GitHub 仓库收集任务
- 包含 README 指令到实际执行的映射
- Docker 容器化执行环境
任务示例
任务：“Run the training script for the sentiment classifier with learning rate 1e-4 and batch size 32 on the SST-2 dataset.” 验证：脚本正确执行并产出期望的训练日志
关键发现
- 环境配置是最大障碍（依赖冲突等）
- 模型在简单任务上表现不错，复杂任务快速退化
- 文档理解能力是关键
关联基准
- MLE-bench：Kaggle 竞赛 ML 任务
- ScienceAgentBench：科学 Agent
- DSBench：数据科学综合
不足与展望
- 仓库可能过时
- 执行环境差异影响复现
- 但 ML 工程评测方向有价值