为什么重要
HELM 是 LLM 评测方法论的里程碑——它不是单个基准而是一个评测框架。覆盖 42 个场景（从 QA 到摘要到 NLI），每个场景不只看准确率，还评测校准度、鲁棒性、公平性、偏见、毒性和效率共 7 个维度。这种多维度评测方法定义了”好模型”不只是”准确的模型”。
构建方式
整合 42 个已有基准和场景，统一标准化评测流程。7 个维度使用不同指标：ECE（校准）、worst-group accuracy（公平性）、perturbation accuracy（鲁棒性）等。所有结果在统一排行榜公开。
任务示例
- 场景：MMLU → 不仅报告准确率，还报告：
- 校准度：模型的置信度与实际准确率是否匹配
- 公平性：不同人群/主题的准确率差异
- 鲁棒性：输入扰动后准确率的稳定性
关键发现
- 准确率最高的模型在公平性和校准度上未必最好
- 商业 API 模型的鲁棒性通常优于开源模型
- 效率维度揭示了推理成本与性能的 tradeoff
关联基准
Open LLM Leaderboard（HF 排行榜）、Chatbot Arena（人类偏好）、MMLU（知识评测）
不足与展望
42 个场景的覆盖面仍有限。多维度评测增加了理解难度，用户可能只关注准确率。