为什么重要
Video-MME 是首个全面的视频理解评测——覆盖从 10 秒到 1 小时的视频，评估模型在不同时长视频上的理解能力。
构建方式
- 900 个视频 + 2700 个问答对
- 视频时长从 10 秒到 60 分钟
- 6 个领域：知识、电影、体育、生活、科技、艺术
任务示例
短视频：“这段 10 秒视频中的人在做什么？” 长视频：“这段 30 分钟的教程讲了哪些关键步骤？“
关联基准
- MMMU：静态图像理解
- SEED-Bench：多模态综合
不足与展望
- 长视频理解的评测标准仍不成熟
- 音频信息未充分利用