返回评测
Agent Agent-科研 未饱和 模态 · 文本 任务 · 开放生成

MLE-bench

从 75 个 Kaggle 竞赛构建,测试 Agent 独立完成 ML 全流程

OpenAI ·

考察能力

ML工程 数据分析 特征工程

构建信息

数据规模
75 Kaggle competitions
评测方式
标准评测
核心指标
Medal Rate (%)

模型效果排行

🥇 o1 + AIDE
16.9% gold
🥈 Claude 3.5 + AIDE
14.0% gold

为什么重要

评估 Agent 独立完成 Kaggle 竞赛的能力——理解数据、特征工程、选模型、训练、调参、提交。最强也只 17% gold。

构建方式与示例

75 个 Kaggle 竞赛。Agent 在 Docker 沙箱中有完整 GPU 环境,按 Kaggle 排名评分。

关联基准与展望

关联:DSBench、RE-Bench。不足:Kaggle 竞赛不完全代表真实 ML 工程。

ML工程 Kaggle Agent