为什么重要
推测解码（Speculative Decoding）已成为加速 LLM 推理的关键技术，但现有评测存在任务多样性有限、吞吐量评估支持不足、依赖高层实现无法反映生产环境等问题。SPEED-Bench 提供了首个面向生产环境的统一评测标准，在 GitHub 上获得 2.48k Stars，反映了社区的强烈需求。
核心设计
SPEED-Bench 包含两个核心数据拆分：定性拆分通过优先考虑样本间语义多样性来精心策划，吞吐量拆分支持从低批次延迟敏感到高负载吞吐量导向的全范围评估。基准直接与 vLLM 和 TensorRT-LLM 等生产级推理引擎集成，确保评测结果贴近实际部署场景。
关键发现
实验量化了合成输入对真实吞吐量的过度估计，识别出依赖批次大小的最优草稿长度，发现了低多样性数据中的偏差问题，并分析了先进草稿模型中词表剪枝的局限性。这些发现对推测解码的实际部署具有直接指导价值。