为什么重要
语音大模型（能直接听语音、说语音的模型，而不是 ASR + LLM + TTS 三段式）出现后，急需一把尺子。VoiceBench 的贡献是把文本侧成熟的能力维度搬到语音通道：通用知识、指令遵循、安全、数学推理等，同时加入语音特有的干扰（口音、语速、环境噪声、停顿、口头禅）。
它的关键发现是语音通道存在系统性能力损耗：同一个模型，接文本输入能答对的题，接语音输入就答不对。这个损耗在不同能力维度上不均匀——知识问答掉得少，指令遵循与数学推理掉得多。这说明语音编码器在传递结构化信息（数字、格式要求、多步约束）时损失最大。
对数据工程的含义：语音训练数据不能只做「文本转语音」。要补的恰恰是结构化、约束密集的语音样本——带数字的指令、多步要求、格式约束。这类数据在自然语音语料里占比很低，需要专门构造。
构建方式
- 选取文本侧成熟的能力评测维度：通用知识、指令遵循、安全性、数学推理、多轮交互等
- 把题目从文本输入改造为语音输入（合成或真人录制）
- 加入语音通道特有的变化：不同口音、语速、环境噪声、停顿、口头禅、重复
- 按维度分别评分，便于定位「哪类能力在语音通道上掉得最厉害」
- 同时评测端到端语音模型与「ASR + LLM」级联方案，作为对照
任务示例
指令遵循（语音输入）：
请用三点列出下列内容，第二点必须以「此外」开头……
这类带格式约束的指令，在语音通道上比纯知识问答更容易出错。
数学推理（语音输入）：
如果一个水池有两个进水管……（含多个数字）
数字在语音传递中最容易出错，是语音通道的典型失分点。
安全性（语音输入）：
用语音请求有害内容，检验模型是否仍保持安全对齐
最新进展
- 论文系统量化了「文本 → 语音」的能力损耗，并指出损耗在不同能力维度上不均匀
- 端到端语音模型与级联方案的对比成为该领域的重要讨论：端到端保留更多信息（语气、情感）但能力损耗更大
- 后续工作围绕「减少语音通道的结构化信息损失」展开，包括更好的语音编码器与专门的语音指令数据
关键发现
- 语音通道有系统性损耗：同样的问题，语音输入比文本输入答得差
- 损耗不均匀：知识与问答掉得少，指令遵循与数学推理掉得多——结构化信息最容易丢
- 数字与格式是重灾区：语音中的数字识别错误会直接传导到推理链
- 数据启示：语音训练数据要有意识地补「约束密集、含数字、多步」的样本，自然语料里这类样本太少