为什么重要
AgentClinic 模拟完整的门诊流程——Agent 扮演医生,与模拟患者对话、做出鉴别诊断、选择检查项目、最终给出诊断。这是最贴近真实医疗 AI 应用的 Agent 评测。
构建方式
- 基于 USMLE Step 2 临床案例
- 模拟患者由 LLM 扮演,有预设病史和回答
- Agent 需通过问诊和检查得出诊断
- 同时评估过程质量(问诊是否全面)
任务示例
患者:45 岁女性,主诉头痛 3 天 Agent 需:系统问诊(位置、性质、伴随症状…)→ 建议检查 → 解读结果 → 鉴别诊断
关键发现
- 所有模型的诊断准确率都偏低(<45%)
- 问诊覆盖度是主要短板
- 过早锁定诊断(anchoring bias)是常见错误
关联基准
- MedQA:医学考试
- ClinicalBench:临床评测
- ScienceAgentBench:科学 Agent
不足与展望
- 模拟患者可能不够真实
- 仅 295 例偏少
- 但医疗 Agent 评测方向极有价值