返回评测
数据 数据-抽取 未饱和 模态 · 文本 任务 · 结构化输出 ACL 2026

EVENT5Ws

A large, manually annotated open-domain event extraction dataset for event understanding and analysis

AI Research Lab ·

考察能力

事件检测 要素抽取 开放域理解 文档级推理

构建信息

数据规模
50,000+ 文档,100,000+ 事件
构建方式
系统化标注流程和统计验证
评测方式
精确匹配和部分匹配评估
核心指标
F1分数、召回率、精确率

模型效果排行

🥇 GPT-4.5
F1: 78.3% 2026-04-23
🥈 Claude-4.7
F1: 76.8% 2026-04-23
🥉 Gemini-2.0
F1: 75.2% 2026-04-23

EVENT5Ws是一个大规模、手动标注的开放域事件抽取数据集,解决了现有数据集在事件类型覆盖范围和标注质量方面的局限性。该基准测试支持事件理解和分析,对于紧急情况下的知情决策等任务至关重要。

核心设计理念是通过系统化的标注流程创建数据集,并提供关于标注复杂性的实证洞察。数据集采用开放域设置,不限制事件类型,能够处理各种领域和场景中的事件。所有标注都经过手动验证,确保数据质量。

关键发现表明,在EVENT5Ws上训练的模型能够有效泛化到不同地理背景的数据集,展示了其开发可泛化算法的潜力。该基准测试还建立了最先进预训练大型语言模型的基准,为未来研究提供了标准评估框架。

EVENT5Ws填补了开放域事件抽取领域的重要空白,为开发更强大和可泛化的事件抽取算法提供了高质量的数据基础。该基准测试特别适合评估模型在复杂文档级推理和跨领域事件理解方面的能力。

事件抽取 开放域 文档理解 信息抽取