为什么重要
LM-Eval-Harness 是 LLM 评测的事实标准框架，几乎所有开源模型发布时都使用它报告成绩。支持 400+ 任务的统一评测接口，确保评测的可复现性。
评测设计
提供统一的模型接口和任务配置系统，支持 few-shot 设置、多种 prompt 模板和自动化评测流程。
主要发现
- 评测标准化是开源 LLM 社区的基础设施
- 不同框架间的评测结果常有差异，LM-Eval-Harness 努力成为金标准
返回评测
数据 评测-框架 未饱和
模态 · 文本
任务 · 排序 / 偏好比较
LM-Eval-Harness
EleutherAI 的统一评测框架，支持 400+ 任务
EleutherAI ·
考察能力
统一评测 多任务 可复现
构建信息
- 数据规模
- 400+ 任务
- 评测方式
- 标准评测
- 核心指标
- Task-specific
资源链接
模型效果排行
🥇 N/A
Framework
评测框架 工具 可复现 标准化