为什么重要
MedQA 使用美国/中国/台湾地区的执业医师考试真题评测 LLM 的临床医学知识。是”AI + 医疗”方向最常用的基准。
构建方式
- 收集美国 USMLE、中国执业医师、台湾医师考试的多选题
- 总计约 12,000 道题
- 覆盖基础医学、临床医学、公共卫生
任务示例
示例：“一位 55 岁男性患者，主诉胸痛 2 小时。心电图显示 ST 段抬高。最可能的诊断和首选治疗方案？“
关键发现
- GPT-4 已能通过 USMLE 各阶段考试（>60%）
- 但在复杂临床推理（多因素综合判断）上仍有差距
- 中文版考试上国产模型表现更好
关联基准
- LegalBench：法律领域
- FinanceBench：金融领域
- GPQA：科学推理
不足与展望
- 选择题无法测真实的临床决策能力
- 医学知识快速更新，题库需要定期刷新
- 缺乏多模态医学评测（影像+文本）