MMAU

为什么重要

随着多模态模型扩展到音频领域，MMAU 填补了音频理解评测的空白。它不仅测试语音转写，还包括音乐理解（调性、节奏、乐器）和环境音识别（场景、事件）。

构建方式

1. 收集语音、音乐、环境音三大类音频
2. 构造理解、推理、描述类问题
3. 标注答案和解释

任务示例

音频：一段交响乐片段 问题：“What is the dominant instrument in this passage?” 选项：A) Piano B) Violin C) Trumpet D) Flute

关键发现

• 音乐理解是最弱环节
• 环境音的空间推理（声源定位等）仍很困难
• 语音理解（beyond ASR）有进步空间

关联基准

• Video-MME：视频理解（含音频）
• MMMU：多模态理解

不足与展望

• 音频领域评测仍处早期
• 缺少多模态融合测试（视频+音频）
• 但方向正确