为什么重要
表格数据是机器学习最常见的数据形式,但”谁是最佳方法”的争论从未停止。现有基准通常只包含不到 100 个数据集,评估充分性和选择偏差一直受到质疑。OmniTabBench 将规模提升到 3030 个数据集,是迄今最大的表格数据基准,为这个基本问题提供了前所未有的实证基础。
核心设计
基准从多个公开来源全面收集数据集,使用 LLM 按行业分类。评估覆盖 GBDT(如 XGBoost、LightGBM)、深度神经网络和表格基础模型三大类方法。核心创新在于解耦元特征分析——不是给一个笼统的”谁赢了”结论,而是按数据集规模、特征类型、偏度/峰度等属性逐项拆解,阐明在什么条件下哪类方法更优。
关键发现
大规模实证确认了一个重要结论:没有单一方法在所有情况下占优。过滤掉”太容易”和”太难”的数据集后,中间难度区间最能区分方法差异。元特征条件化分析提供了实用的模型选择指导——比如小规模稀疏特征场景 GBDT 仍然强势,而大规模高维特征场景基础模型开始展现优势。这种可操作的指导比单纯排名更有价值。