PubMedQA

为什么重要

PubMedQA 将生物医学文献理解任务标准化，每个问题来源于一篇 PubMed 摘要的研究问题，模型需要判断摘要是否支持结论。它补充了 MedQA 的临床考试角度，从科研文献理解角度评估模型。

构建方式

1. 从 PubMed 摘要的结论部分自动提取研究问题
2. 专家标注 1,000 个高质量样本
3. 自动生成 211K+ 训练样本
4. 答案为 Yes / No / Maybe

任务示例

上下文：“We investigated whether aspirin reduces the risk of colorectal cancer…”（摘要中有详细实验数据） 问题：“Does aspirin reduce the risk of colorectal cancer?” 答案：“Yes” / “No” / “Maybe”

关键发现

• “Maybe”类答案是模型最大弱项
• 需要理解统计显著性和实验设计
• 领域预训练有显著提升

关联基准

• MedQA：医学考试
• SciBench：科学考试
• GPQA：科学问答

不足与展望

• Yes/No/Maybe 三分类粒度较粗
• 仅涉及摘要，不测全文理解
• 需要持续更新以覆盖新研究领域