为什么重要
SciERC 是科学文本信息抽取的标准基准——标注了 AI 领域论文摘要中的实体（方法、任务、评测指标、材料等）、实体间关系（Used-for、Feature-of、Compare 等）和共指链。它是构建学术知识图谱的基础评测。
构建方式
从 ACL Anthology 中选取 500 篇 AI/NLP 论文摘要，专家标注 6 种实体类型和 7 种关系类型。标注粒度为 span 级别。
任务示例
- 文本：“We use BERT for text classification on SST-2 and achieve 94% accuracy.”
- 实体：[BERT: Method], [text classification: Task], [SST-2: Material], [94%: Metric]
- 关系：BERT Used-for text classification, text classification Evaluate-for SST-2
关键发现
- 关系抽取比实体识别难得多（F1 差 20+）
- 科学文本的术语密度使 NER 比通用文本更难
- LLM 在该任务上的 few-shot 表现接近微调小模型
关联基准
SciREX（全文级科学 IE）、ChemProt（化学关系）、BioASQ（生物医学 QA）
不足与展望
500 篇摘要的规模偏小。仅覆盖 AI/NLP 领域。