为什么重要
WMT 是机器翻译领域最权威的年度统考，它的价值不只在于「今年谁第一」，更在于评测口径本身的变化。WMT-24 的一个关键转变是：大规模引入无参考质量评估（MetricX、COMET 一类），逐步摆脱对人工参考译文的依赖。
这个转变背后是现实压力——翻译质量提高到一定程度后，单一参考译文会成为天花板：模型译得比参考更好，反而被判错。无参考指标让评测能跳出「像不像参考」的框，直接评估译文质量。
另一个重要观察是：通用大模型在 WMT 上的表现已经接近甚至超过专用翻译系统。翻译从「需要专门训练的任务」变成「通用能力的一个应用面」，这对做多语数据的人意味着——多语数据的价值正在从「训练翻译能力」转向「训练通用语言能力与领域适配」。
构建方式
- WMT 组织方为当年评测收集测试集，来源覆盖新闻、社交文本、文学作品与对话等多域
- 设定多个语向（含英↔中、英↔日、英↔德、英↔法、捷克语↔乌克兰语等）
- 组织人工评测，采用 MQM（Multidimensional Quality Metrics）框架标注错误类型与严重度
- 同时运行自动指标：含依赖参考的 BLEU/chrF 与无参考的 MetricX / COMET 等
- 发布系统排名与指标对照，供后续研究比较
任务示例
英→中：
The committee’s decision, announced after weeks of deliberation, drew criticism from both sides of the aisle.
参考译文与模型译文都会被送去人工评估，按「准确性 / 流畅度 / 术语一致性 / 风格」等维度打分，而不是简单的字符串比对。
领域差异：同一模型在新闻文本上表现好，在社交文本（含俚语、缩写）与文学文本（含隐喻）上往往明显掉分——这正是多域测试集的价值。
最新进展
- WMT-24 显著扩大了无参考指标的使用范围，MetricX 等指标成为官方排名的重要依据
- 通用大模型（含开源模型）在多个语向上进入前列，专用翻译系统的优势缩小
- 低资源语向与「远距离语对」（如日→捷克）仍是难点，也是区分系统强弱的关键
关键发现
- 参考译成为天花板：当模型译文质量超过参考时，BLEU 类指标会低估系统能力
- 领域比语向更影响得分：同一语对内，新闻 / 社交 / 文学的分数差距往往大于不同语向之间
- 通用模型正在吃掉专用系统：翻译作为独立任务的边界在模糊
- 数据启示：多语数据的重心应从「平行语料规模」转向「领域覆盖与文体多样性」