为什么重要
WildVision 是多模态版的 Chatbot Arena——收集真实用户与多个视觉模型的交互，通过用户偏好投票生成 Elo 排名。它代表真实场景中用户关心的多模态能力，而非学术设定的标准化问题。
构建方式
部署在线平台，用户上传图片并向两个匿名模型提问，然后选择更好的回答。收集25K+交互产生排名数据。同时维护 WildVision-Bench（1K 高质量子集）用于自动评测。
任务示例
- 用户上传手写数学题照片，要求求解
- 用户上传产品图片，要求写商品描述
- 用户上传 meme 图片，要求解释幽默
关键发现
- 真实用户需求分布与学术基准差异很大
- 创意和幽默理解是高频需求但学术基准很少覆盖
- Elo 排名与标准基准排名有显著差异
关联基准
Chatbot Arena（文本版）、MMBench（标准化评测）、LLaVA-Bench（小规模）
不足与展望
用户群体偏向技术人员，不代表通用用户。投票质量参差不齐。