为什么重要
HuggingFace 维护的开源 LLM 排行榜。v2 使用 6 个核心基准(IFEval、BBH、MATH Hard、GPQA、MuSR、MMLU-Pro),是开源模型选型的核心参考。
构建方式
- 整合 6 个高区分度基准
- 自动化评测流程(任何人都可以提交模型)
- 统一的评测框架(lm-evaluation-harness)
关联基准
组成基准:IFEval、BBH、MATH、GPQA、MuSR、MMLU-Pro
不足与展望
- 只测开源模型(闭源模型不参与)
- 6 个基准可能不够覆盖所有能力
- 存在过拟合风险——有些模型专门针对这 6 个基准优化