XpertBench 直面 LLM 评测的核心矛盾：传统 benchmark 已经饱和，但模型在真实专业场景中还差得远。它由 200+ 领域专家策划 1346 个专业级任务，覆盖金融、医疗、法律、教育、STEM 和人文 80 个类别，每个任务配有 15-40 个加权评分检查点的详细量规。
评估方法上的创新是 ShotJudge 范式：用 LLM 作为评判者，但通过专家少样本示例进行校准，有效缓解了 LLM-as-Judge 的自我奖励偏差。这让评估既可扩展又与人类判断对齐。
关键发现：最强模型峰值仅约 66%，平均 55%，且存在明显的领域特异性——定量推理和语言综合能力呈现非重叠优势分布。这意味着当前没有任何模型是真正的”全能专家”，AI 的专家差距依然显著。