为什么重要
多模态大模型在医学影像理解上取得了快速进展,但现有评估仅报告单一或粗粒度指标,无法满足临床场景对精细评估和推理可靠性的需求。MedRCube 提出范式转变——从单维度评分转向多维度、细粒度、深度评估,并首次引入可信度评估子集来量化模型推理过程的可靠性。
核心设计
MedRCube 通过两阶段系统化管线构建评估框架,对 33 个 MLLMs 进行基准测试。核心创新在于可信度评估子集:不仅看模型”答对了没有”,还要看”推理过程是否可信”。这种设计能够捕捉传统评估忽略的关键信号——模型可能通过”捷径”获得正确答案而非真正的医学推理。
关键发现
评测揭示了一个对临床部署至关重要的发现:捷径行为与诊断任务性能之间存在高度显著的正相关关系。这意味着表面性能越高的模型,可能越依赖统计捷径而非医学知识进行推理。Lingshu-32B 取得顶尖综合表现,但这一发现对所有模型的临床可信部署提出了严肃的安全隐忧。