为什么重要
AstaBench 是首个全面评测 AI Agent 进行科学研究能力的基准套件。由 AI2（Allen Institute for AI）构建，作为 Asta 项目（Accelerating Science with Trustworthy AI Agents）的核心评测工具，在 ICLR 2026 以 Oral 论文发表。它覆盖了科学研究的完整流程——从文献检索到实验执行再到发现报告，填补了此前科学 Agent 评测的系统性空白。
四大评估类别
文献理解 (Literature Understanding)
- PaperFindingBench：根据描述定位论文集合
- LitQA2-FullText-Search：论文检索与排序
- ScholarQA-CS2：CS 文献综述长篇回答
- LitQA2-FullText：需阅读全文的多选题
- ArXivDigesTables-Clean：文献综述表格生成
编码与执行 (Coding and Execution)
- SUPER-Expert：从零复现低资源研究仓库
- Core-Bench-Hard：仅提供 README 的计算可复现性测试
- DS-1000：Stack Overflow Python 数据科学代码生成
数据分析 (Data Analysis)
- DiscoveryBench：多步骤数据驱动发现
端到端发现 (End-to-End Discovery)
- E2E-Bench / E2E-Bench-Hard：完整科学研究流程（任务→实验→分析→报告）
关键发现
- 评测了 57 个 Agent（22 类），揭示综合性科学 AI 助手仍是未解难题
- 配备生产级可复现搜索工具，确保评测的严格性和可控性
- 时间不变的成本报告和可追溯日志设计
关联基准
- ScienceAgentBench：科学数据驱动发现
- PaperBench：论文复现
- GAIA：通用 AI 助手