EVENT5Ws是一个大规模、手动标注的开放域事件抽取数据集,解决了现有数据集在事件类型覆盖范围和标注质量方面的局限性。该基准测试支持事件理解和分析,对于紧急情况下的知情决策等任务至关重要。
核心设计理念是通过系统化的标注流程创建数据集,并提供关于标注复杂性的实证洞察。数据集采用开放域设置,不限制事件类型,能够处理各种领域和场景中的事件。所有标注都经过手动验证,确保数据质量。
关键发现表明,在EVENT5Ws上训练的模型能够有效泛化到不同地理背景的数据集,展示了其开发可泛化算法的潜力。该基准测试还建立了最先进预训练大型语言模型的基准,为未来研究提供了标准评估框架。
EVENT5Ws填补了开放域事件抽取领域的重要空白,为开发更强大和可泛化的事件抽取算法提供了高质量的数据基础。该基准测试特别适合评估模型在复杂文档级推理和跨领域事件理解方面的能力。