返回评测
Agent Agent-科研 未饱和 模态 · 文本 任务 · 开放生成

AgentClinic

模拟真实门诊场景的医疗 Agent 评测,涵盖问诊、检查、诊断全流程

Stanford / Harvard Medical School ·

考察能力

医疗问诊 鉴别诊断 检查解读 多轮交互

构建信息

数据规模
295 patient cases
评测方式
诊断匹配 + 过程评分
核心指标
Diagnostic Accuracy / Process Score

模型效果排行

🥇 GPT-4o
~42% diagnostic accuracy
🥈 Claude 3.5 Sonnet
~39% diagnostic accuracy

为什么重要

AgentClinic 模拟完整的门诊流程——Agent 扮演医生,与模拟患者对话、做出鉴别诊断、选择检查项目、最终给出诊断。这是最贴近真实医疗 AI 应用的 Agent 评测。

构建方式

  1. 基于 USMLE Step 2 临床案例
  2. 模拟患者由 LLM 扮演,有预设病史和回答
  3. Agent 需通过问诊和检查得出诊断
  4. 同时评估过程质量(问诊是否全面)

任务示例

患者:45 岁女性,主诉头痛 3 天 Agent 需:系统问诊(位置、性质、伴随症状…)→ 建议检查 → 解读结果 → 鉴别诊断

关键发现

  • 所有模型的诊断准确率都偏低(<45%)
  • 问诊覆盖度是主要短板
  • 过早锁定诊断(anchoring bias)是常见错误

关联基准

不足与展望

  • 模拟患者可能不够真实
  • 仅 295 例偏少
  • 但医疗 Agent 评测方向极有价值
医疗 Agent 诊断 模拟