Riemann-Bench 将 AI 数学评测推到了竞赛之外——直接挑战研究级数学推理。25 道由顶尖数学家策划的问题,每道题人类专家独立求解通常需要数周时间,覆盖了远超 IMO 范畴的高级理论知识。
核心设计:基准完全私有,防止训练数据污染。每道题有唯一封闭解,通过程序化验证器评估,每题 100 次独立运行取无偏统计估计。模型被赋予完整工具访问权限(代码、搜索、开放推理),作为无约束研究代理进行评估。
关键发现:所有前沿模型得分低于 10%。这暴露了奥赛级解题能力和真正数学研究能力之间的鸿沟——当前 AI 擅长的是”巧妙技巧”,而非”深层理论推演”。Riemann-Bench 为衡量 AI 向真正数学研究能力演进提供了关键度量尺。