为什么重要
270 个论文复现任务，三级难度——从 Nature/Science 等顶刊收集，评估 Agent 的计算可复现性。
构建方式与示例
给论文代码仓库，Agent 需配好环境、运行代码、得到与论文一致的结果。Hard 级别只有 21%。
关联基准与展望
关联：PaperBench、ScienceAgentBench。不足：依赖环境稳定性。
返回评测
Agent Agent-科研 未饱和
模态 · 文本
任务 · 开放生成
CORE-Bench
270 个论文复现任务，三级难度，评估 Agent 对计算型论文的复现能力
Anthropic & Princeton ·
考察能力
论文复现 环境配置 代码调试 结果验证
构建信息
- 数据规模
- 270 tasks (3 levels)
- 构建方式
- 从 Nature/Science 等顶刊收集
- 评测方式
- 输出匹配 + 数值误差容忍
- 核心指标
- Accuracy (%)
模型效果排行
🥇 AutoGPT + GPT-4o
21% (Hard) 2024-09
复现 科研 Agent