返回评测
语音与音频 语音-ASR 未饱和 模态 · 音频 任务 · 开放生成

FLEURS

覆盖 102 个语种的大规模语音评测集,统一支持 ASR、语音翻译、语言识别与检索等多任务

Google Research ·

考察能力

多语种语音识别 语音翻译 语种识别 语音检索

构建信息

数据规模
约 12 小时 × 102 语种(每语种约 12 小时)
构建方式
基于 FLORES-101 文本翻译基准扩展,招募母语者朗读对应译文并录音,构建语音-文本-翻译三通道对齐数据
评测方式
ASR 用 WER/CER;翻译用 BLEU;语种识别用准确率
核心指标
WER / CER / BLEU / Accuracy

为什么重要

多语种 ASR 长期被英语主导——因为英语数据最多。FLEURS 做的事情是把 102 个语种拉到同一把尺子上:它基于已有的多语文本翻译基准 FLORES-101,招募各语种母语者朗读译文并录音,于是同一个句子在 102 种语言里都有语音、文本和互译对齐。

这个设计的价值在于可比性:你可以直接问「模型在斯瓦希里语上的 WER 是多少、在泰语上是多少」,而不用担心各语种的数据分布不同。结果是低资源语言的差距被赤裸裸地摆出来——英语 WER 可能只有个位数,而很多低资源语种在几十甚至更高。

对数据工程的启示:多语语音数据的获取成本结构极其不均。高资源语种可以爬取、可以众包;低资源语种要专门招募母语者录音,成本高出几个数量级。这决定了「语音能力覆盖多少语种」本质上是一个数据投入决策,不是模型能力问题。

构建方式

  1. 以 FLORES-101 的多语平行文本为基础(同一批句子被翻译成 100+ 语种)
  2. 为每个语种招募母语者,朗读对应译文并录音
  3. 形成「语音 - 转写文本 - 跨语翻译」三通道对齐的数据
  4. 覆盖 102 个语种,每语种约 12 小时
  5. 支持多任务评测:ASR(语音→文本)、语音翻译(语音→外语文本)、语种识别、语音检索

任务示例

ASR 任务: 输入一段 12 秒的斯瓦希里语语音,输出对应文字,与人工转写比对计算 WER。

语音翻译任务: 输入一段印地语语音,直接输出英文译文,用 BLEU 评分。

语种识别任务: 输入一段语音,判断属于 102 个语种中的哪一个。

最新进展

  • Whisper 系列发布时把 FLEURS 作为多语种能力的主要证据之一,其后成为多语语音模型的标准评测集
  • 各厂商报告多语 ASR 能力时普遍引用 FLEURS 的分语种 WER
  • 低资源语种的差距催生了一批「数据高效」的语音工作:自监督预训练、跨语种迁移、合成数据增强

关键发现

  • 语种间差距远大于模型间差距:同一模型在英语与低资源语种上的表现差异,往往超过不同模型之间的差距
  • 低资源是数据问题而非模型问题:谁有母语者录音数据,谁就能覆盖
  • 自监督预训练缓解了一部分:在大量无标注语音上预训练,能降低对标注数据的依赖
  • 数据启示:多语语音的覆盖能力本质上是「愿意为多少语种付录音成本」的决策
语音识别 多语种 ASR 语音翻译 低资源语言 Google