BioASQ

为什么重要

BioASQ 是生物医学 NLP 领域历时最长的年度竞赛（2013 年至今），涵盖从文献检索到精确问答的全链路。它是评测生物医学领域 LLM 应用的权威基准。

构建方式

1. 生物医学专家手工构造问题
2. 分为 Yes/No、事实型、列表型、摘要型四类
3. 答案基于 PubMed 文献

任务示例

问题：“Is BRCA1 involved in DNA repair?” 类型：Yes/No 期望：Yes，并引用相关文献证据

关键发现

• LLM 在事实型问题上接近专家水平
• 文献检索+生成的 RAG 方案效果最好
• 摘要型问题仍有挑战

关联基准

• PubMedQA：PubMed 文献 QA
• MedQA：医学执业考试
• CBLUE：中文医学 NLP

不足与展望

• 竞赛形式导致数据逐年累积但不完全公开
• 标注质量参差
• 但作为持续运行的领域竞赛有独特价值