为什么重要
LLM 越来越多地被用于医疗健康指导，但女性健康领域在基准设计中长期被低估。这不是小问题——错误的剂量建议、过时的临床指南引用、或对特定人群的公平性盲区，都可能造成真实伤害。WHBench 是第一个专门针对女性健康的 LLM 评估套件，旨在暴露这些临床上有意义的失败模式。
核心设计
基准由领域专家设计 47 个场景，覆盖生育健康、产后护理、更年期管理等 10 个女性健康主题。评估采用 23 项标准的评分量表，涵盖临床准确性、完整性、安全性、沟通质量、指令遵循、公平性、不确定性处理和指南依从性八大维度。引入安全加权惩罚机制——安全维度的失分会被放大，反映实际临床风险。共评估了 22 个模型，产出超过 3,100 条评分响应。
关键发现
没有任何前沿 LLM 在女性健康领域表现足够优秀——最佳模型仅达 72.1%，无模型超过 75%。常见失败模式包括引用过时指南、遗漏关键安全信息、剂量错误和公平性盲区。评分者间信度在模型排名层面较高，表明 WHBench 适合模型间比较，但临床部署仍需专家监督。