返回评测
领域专业 领域-科学 未饱和 模态 · 文本 任务 · 选择 / 判断

PRL-Bench

基于 Physical Review Letters 最新论文构建的端到端物理研究评估基准,覆盖五大理论与计算物理子领域

上海交通大学 / 北京大学 / AI for Science Institute ·

考察能力

端到端研究流程 探索性问题建模 长程推理 理论物理推导 计算物理

构建信息

数据规模
100 篇 PRL 论文构建的研究任务
构建方式
从 2025 年 8 月以来 Physical Review Letters 最新期刊中精选,领域专家逐一验证
评测方式
端到端物理研究任务完成度评估,客观可验证
核心指标
总分(满分制)

模型效果排行

🥇 最佳前沿模型
低于 50 分 2026-04

为什么重要

现有科学基准主要评估领域知识理解和复杂推理,但未能触及真实研究的探索性和流程复杂性。PRL-Bench 选择理论与计算物理作为测试平台,因为它兼具全面的领域知识、复杂推理和可验证的端到端工作流,且无需依赖物理实验,是评估”AI 科学家”能力的天然试验场。

核心设计

PRL-Bench 从 Physical Review Letters 2025 年 8 月以来的最新论文中精选 100 篇,覆盖天体物理学、凝聚态物理、高能物理、量子信息和统计物理五大子领域。每项任务复现真实科学研究的核心特性:探索导向的问题建模、长程工作流和客观可验证性。作者团队包括鄂维南院士(北大/AISI)和陈思衡教授(上海交大),共 22 位研究者参与构建。

关键发现

对前沿模型的评估结果令人警醒:最佳总分低于 50 分,暴露了当前 LLM 在自主探索能力、长程推理和深层物理知识整合方面的显著不足。这一差距表明,AI 系统距离真正的自主科学发现还有相当长的路要走。

物理研究 科学发现 端到端评估 专家级 Agentic Science