为什么重要
标准数学基准面临两大核心问题：训练数据污染和模式匹配而非真正推理。LiveMathematicianBench 同时解决这两个问题——它基于模型训练截止日期之后发表的 arXiv 定理动态生成题目，确保抗污染；引入证明草图引导的干扰项和抗替换机制，区分模型是在”识别答案”还是在”实质性推理”。
核心设计
基准从最新 arXiv 论文中提取定理，建立了 13 类逻辑分类体系（蕴含、等价、存在性、唯一性等），支持对不同推理形式的细粒度评估。干扰项通过证明草图中的高层策略生成，模拟看似合理但实际无效的证明方向。双模式协议（标准 + 抗替换）揭示模型真实推理能力与表面模式匹配之间的差距。
关键发现
在标准模式下，最佳模型 Gemini-3.1-pro-preview 仅达到 43.5%，基准远未饱和。更值得注意的是抗替换模式下的表现：GPT-5.4 以 30.6% 领先，而 Gemini-3.1-pro-preview 骤降至 17.6%——低于 20% 的随机基线，说明其在标准模式下的表现很大程度上依赖答案识别而非真正推理。提供证明草图后模型准确率一致性提升，证实模型能利用高层证明策略辅助推理。