为什么重要
首个评测 Agent 能否完成端到端前沿物理研究的基准:任务来自真实科研问题(物理 PhD 需数周完成),SOTA Agent 依然吃力。评分不靠最终实验结果,而是可验证 grader + rubric 评审 agent 的迭代式评估(研究→实现→评审→反馈循环),把”同行评审”搬进了评测协议。
构建方式与示例
- 任务形态:文献深读(如囚禁离子量子网络的中继方案调研)→ 择优定案 → 仿真实现(trap 势场模拟、shuttling 设计)
- 任务自带完整环境:Dockerfile、verifier、rubric.json、oracle 资产,评分标准由具备实操复现经验的专家撰写(双人撰写+多级评审)
- 贡献者激励:贡献 2 个任务(或等值基建/评审)即成为论文共同作者;v1.0 论文目标 Nature
关联基准与展望
关联:SkillsBench(同门)、MLE-Bench、SWE-bench-science。AI4Science 是当前公认的下一代评测主战场(Jeff Dean 离职创办 Discovery Loop、Genesis Mission 50 亿美元投入),但”能衡量它的基准”此前是空白。值得盯:rubric reviewer agents 这条”评审式评测”路线能否泛化到生物、材料等其他实验科学。