为什么重要
现有科学基准主要评估领域知识理解和复杂推理,但未能触及真实研究的探索性和流程复杂性。PRL-Bench 选择理论与计算物理作为测试平台,因为它兼具全面的领域知识、复杂推理和可验证的端到端工作流,且无需依赖物理实验,是评估”AI 科学家”能力的天然试验场。
核心设计
PRL-Bench 从 Physical Review Letters 2025 年 8 月以来的最新论文中精选 100 篇,覆盖天体物理学、凝聚态物理、高能物理、量子信息和统计物理五大子领域。每项任务复现真实科学研究的核心特性:探索导向的问题建模、长程工作流和客观可验证性。作者团队包括鄂维南院士(北大/AISI)和陈思衡教授(上海交大),共 22 位研究者参与构建。
关键发现
对前沿模型的评估结果令人警醒:最佳总分低于 50 分,暴露了当前 LLM 在自主探索能力、长程推理和深层物理知识整合方面的显著不足。这一差距表明,AI 系统距离真正的自主科学发现还有相当长的路要走。