为什么重要
MultiWOZ 是规模最大的人-人标注任务型对话数据集，涵盖餐厅、酒店、出租车等 7 个领域。对话状态追踪（DST）至今仍是挑战。
评测设计
多轮对话中追踪用户的所有约束条件（领域-槽-值三元组）。JGA 要求所有槽值在每轮对话后全部正确。
主要发现
- JGA 远未饱和，多领域切换和隐式约束是主要难点
- LLM 通过 in-context learning 取得显著进步但仍未解决
返回评测
综合 综合-对话 未饱和
模态 · 文本
任务 · 开放生成
MultiWOZ
10K 多轮任务型对话，涵盖 7 个领域的对话状态追踪基准
University of Cambridge ·
考察能力
对话状态追踪 多领域对话 任务完成
构建信息
- 数据规模
- 10,438 对话
- 评测方式
- 标准评测
- 核心指标
- JGA (Joint Goal Accuracy)
资源链接
模型效果排行
🥇 GPT-4o
63.8% JGA
🥈 Claude 3.5 Sonnet
61.2% JGA
对话系统 任务型对话 状态追踪 经典基准