返回评测
领域专业 领域-医学 未饱和 模态 · 文本 任务 · 选择 / 判断

MedRCube

对 33 个 MLLMs 进行多维度、细粒度、深度评估,揭示捷径行为与诊断性能的高度正相关,对临床部署敲响安全警钟

复旦大学 / 浙江大学 / 华中科技大学 / 西北工业大学 ·

考察能力

医学影像理解 临床推理 诊断判断 推理可信度 多维度评估

构建信息

数据规模
多维度医学影像评估数据集(含可信度评估子集)
构建方式
两阶段系统化构建管线,专家参与验证
评测方式
多维度细粒度评估 + 可信度子集量化推理可信性
核心指标
多维综合得分(含临床准确性、完整性、可信度等维度)

模型效果排行

🥇 Lingshu-32B
顶尖性能(具体数值见论文) 2026-04

为什么重要

多模态大模型在医学影像理解上取得了快速进展,但现有评估仅报告单一或粗粒度指标,无法满足临床场景对精细评估和推理可靠性的需求。MedRCube 提出范式转变——从单维度评分转向多维度、细粒度、深度评估,并首次引入可信度评估子集来量化模型推理过程的可靠性。

核心设计

MedRCube 通过两阶段系统化管线构建评估框架,对 33 个 MLLMs 进行基准测试。核心创新在于可信度评估子集:不仅看模型”答对了没有”,还要看”推理过程是否可信”。这种设计能够捕捉传统评估忽略的关键信号——模型可能通过”捷径”获得正确答案而非真正的医学推理。

关键发现

评测揭示了一个对临床部署至关重要的发现:捷径行为与诊断任务性能之间存在高度显著的正相关关系。这意味着表面性能越高的模型,可能越依赖统计捷径而非医学知识进行推理。Lingshu-32B 取得顶尖综合表现,但这一发现对所有模型的临床可信部署提出了严肃的安全隐忧。

医学影像 MLLM 临床评估 可信度 捷径行为 安全性