返回评测
Agent Agent-科研 未饱和 模态 · 文本 任务 · 开放生成

FrontierPhysics v0.1

首个评测 AI Agent 完成端到端前沿物理研究的基准——文献深读→研究计划→实验实现→评审反馈迭代循环,rubric 评审 agent + 可验证 grader 双轨评分

BenchFlow ·

考察能力

端到端科研 文献深读 研究计划 实验设计 迭代改进

构建信息

数据规模
v0.1 50 tasks(v1.0 目标 2026-12-31)
构建方式
物理 PhD 专家设计(贡献任务即可署名 co-author)
评测方式
可验证 grader + rubric 评审 agent(同行评审式)
核心指标
任务得分 + 评审 agent 对齐度

为什么重要

首个评测 Agent 能否完成端到端前沿物理研究的基准:任务来自真实科研问题(物理 PhD 需数周完成),SOTA Agent 依然吃力。评分不靠最终实验结果,而是可验证 grader + rubric 评审 agent 的迭代式评估(研究→实现→评审→反馈循环),把”同行评审”搬进了评测协议。

构建方式与示例

  • 任务形态:文献深读(如囚禁离子量子网络的中继方案调研)→ 择优定案 → 仿真实现(trap 势场模拟、shuttling 设计)
  • 任务自带完整环境:Dockerfile、verifier、rubric.json、oracle 资产,评分标准由具备实操复现经验的专家撰写(双人撰写+多级评审)
  • 贡献者激励:贡献 2 个任务(或等值基建/评审)即成为论文共同作者;v1.0 论文目标 Nature

关联基准与展望

关联:SkillsBench(同门)、MLE-Bench、SWE-bench-science。AI4Science 是当前公认的下一代评测主战场(Jeff Dean 离职创办 Discovery Loop、Genesis Mission 50 亿美元投入),但”能衡量它的基准”此前是空白。值得盯:rubric reviewer agents 这条”评审式评测”路线能否泛化到生物、材料等其他实验科学。

AI4Science 物理 科研 Agent Rubrics BenchFlow