为什么重要
多语种 ASR 长期被英语主导——因为英语数据最多。FLEURS 做的事情是把 102 个语种拉到同一把尺子上:它基于已有的多语文本翻译基准 FLORES-101,招募各语种母语者朗读译文并录音,于是同一个句子在 102 种语言里都有语音、文本和互译对齐。
这个设计的价值在于可比性:你可以直接问「模型在斯瓦希里语上的 WER 是多少、在泰语上是多少」,而不用担心各语种的数据分布不同。结果是低资源语言的差距被赤裸裸地摆出来——英语 WER 可能只有个位数,而很多低资源语种在几十甚至更高。
对数据工程的启示:多语语音数据的获取成本结构极其不均。高资源语种可以爬取、可以众包;低资源语种要专门招募母语者录音,成本高出几个数量级。这决定了「语音能力覆盖多少语种」本质上是一个数据投入决策,不是模型能力问题。
构建方式
- 以 FLORES-101 的多语平行文本为基础(同一批句子被翻译成 100+ 语种)
- 为每个语种招募母语者,朗读对应译文并录音
- 形成「语音 - 转写文本 - 跨语翻译」三通道对齐的数据
- 覆盖 102 个语种,每语种约 12 小时
- 支持多任务评测:ASR(语音→文本)、语音翻译(语音→外语文本)、语种识别、语音检索
任务示例
ASR 任务: 输入一段 12 秒的斯瓦希里语语音,输出对应文字,与人工转写比对计算 WER。
语音翻译任务: 输入一段印地语语音,直接输出英文译文,用 BLEU 评分。
语种识别任务: 输入一段语音,判断属于 102 个语种中的哪一个。
最新进展
- Whisper 系列发布时把 FLEURS 作为多语种能力的主要证据之一,其后成为多语语音模型的标准评测集
- 各厂商报告多语 ASR 能力时普遍引用 FLEURS 的分语种 WER
- 低资源语种的差距催生了一批「数据高效」的语音工作:自监督预训练、跨语种迁移、合成数据增强
关键发现
- 语种间差距远大于模型间差距:同一模型在英语与低资源语种上的表现差异,往往超过不同模型之间的差距
- 低资源是数据问题而非模型问题:谁有母语者录音数据,谁就能覆盖
- 自监督预训练缓解了一部分:在大量无标注语音上预训练,能降低对标注数据的依赖
- 数据启示:多语语音的覆盖能力本质上是「愿意为多少语种付录音成本」的决策