为什么重要
LLaVA-Bench 是伴随 LLaVA 模型一起提出的评测基准，成为多模态模型的快速评测标配。它覆盖三类能力：对话（自然交互）、细节描述（详细叙述图像内容）和复杂推理（基于图像的深层推理），使用 GPT-4 作为自动评判。
构建方式
精选 60 张涵盖不同场景的图片，每张图片标注 3 个问题（对话/描述/推理各一）。使用 GPT-4V 生成参考答案，其他模型的回答由 GPT-4 评分。
任务示例
- 图片：一张复杂的街头场景
- 对话问题：“What’s happening in this image?”
- 细节描述：“Describe every object you can see.”
- 复杂推理：“What time of day do you think this was taken, and why?”
关键发现
- LLM 评分与人工评分的相关性约 0.85
- 描述能力是最容易提升的维度
- 复杂推理能力与基座 LLM 能力高度相关
关联基准
MMBench（系统性评测）、MM-Vet（综合多模态）、MMMMU（大学级多模态）
不足与展望
60 张图的规模太小，统计置信度不足。GPT-4 评分可能对特定风格有偏好。