为什么重要
首个专门评测 Deep Research Agent 输出报告质量的基准。关键发现：Gemini DR 信息广度碾压（有效引用 111 vs 第二名 41），OpenAI DR 指令遵循最强。
构建方式
- 100 个博士级研究任务
- RACE 框架评估：Relevance（相关性）、Accuracy（准确性）、Completeness（完整性）、Expression（表达）
- FACT 框架验证引用准确性
- 多维度综合评分
任务示例
示例：“综述 2023-2024 年蛋白质结构预测领域的主要进展，重点比较 AlphaFold 3 和 ESMFold 2 的方法论差异”
关键发现
- Gemini DR 信息广度第一（111 有效引用 vs 第二名 41）
- OpenAI DR 指令遵循最强（更贴合用户要求的格式和内容）
- 两者各有所长——没有一个产品在所有维度都最好
关联基准
- BrowseComp：搜索能力评测
- DeepSearchQA：多步搜索问答
- GAIA：通用 Agent 评测
不足与展望
- 100 个任务偏少
- 报告质量的评估仍部分依赖人工
- 未来需要区分”搜索信息的广度”和”分析信息的深度”