返回评测
Agent Agent-深度研究 未饱和 模态 · 文本 任务 · 开放生成

DR³-Eval

通过静态研究沙盒语料库评估深度研究 Agent 的多模态多文件报告生成能力

多机构合作(19 位作者) ·

考察能力

信息召回 事实准确性 引用覆盖 指令遵循 报告深度 检索鲁棒性 幻觉控制

构建信息

数据规模
基于真实用户材料构建的静态研究沙盒语料库
构建方式
真实用户提供的材料 + 支持性文档/干扰项/噪声混合构建
评测方式
五维度自动评估(与人类判断一致性验证)
核心指标
五维评分:信息召回/事实准确性/引用覆盖/指令遵循/深度质量

模型效果排行

🥇 多 SOTA 模型驱动的 DR³-Agent 系统
具体分数见论文 2026-04

为什么重要

深度研究 Agent(DRA)正在成为 AI 领域最前沿的应用方向之一——它们需要完成规划、检索、多模态理解和报告生成等复合任务。但现有评估面临两大难题:动态网络环境导致结果不可复现,任务定义模糊导致评估标准不一致。DR³-Eval 通过引入静态研究沙盒语料库,在保留真实网络复杂性的同时实现了完全可验证和可复现的评估。

核心设计

每个评测任务配备一个静态研究沙盒语料库,其中包含支持性文档、干扰项和噪声,模拟开放网络的复杂性。评估框架覆盖五个维度:信息召回(关键信息覆盖度)、事实准确性、引用覆盖率、指令遵循度和报告深度质量。所有维度均经过与人类判断的一致性验证。

关键发现

实验表明 DR³-Eval 极具挑战性,揭示了当前模型在检索鲁棒性和幻觉控制方面的关键失败模式。即使使用 SOTA 模型驱动的多 Agent 系统 DR³-Agent,在面对包含干扰项和噪声的语料库时,仍然频繁出现事实性错误和引用缺失。代码和数据已开源。

Deep Research Agent 报告生成 多模态 检索增强 幻觉检测