为什么重要
在生产部署中，推理速度与质量的平衡至关重要。SpeedBench 联合评估吞吐量、延迟和任务质量，帮助选择最佳的模型-推理框架组合。
返回评测
综合 综合-效率 未饱和
模态 · 文本
任务 · 混合题型
SpeedBench
评测 LLM 推理速度与质量的平衡
Multiple ·
考察能力
推理效率 速度-质量平衡 延迟优化
构建信息
- 数据规模
- 多任务
- 评测方式
- 速度 + 质量联合评测
- 核心指标
- Tokens/sec × Quality
资源链接
模型效果排行
🥇 Groq (Llama 3)
~800 tok/s
🥈 GPT-4o-mini
~200 tok/s
效率 推理速度 部署 延迟